201 1年5月 中国管理信息化 M.dy,2011 第14卷第9期 China Management Informationization V01.14.No.9 数据挖掘技术在商业银行中的应用 陈敏 (北京银行博士后科研工作站,北京100081) [摘要】数据挖掘能够有效分析商业银行数据库中的信息,将其转化为知识为银行的经验决策服务。本文在介绍 数据挖掘技术及其主要任务的基础上,总结了数据挖掘在商业银行业务中的主要应用领域为客户关系管理、风险管 理和金融欺诈监测.并具体介绍了数据挖掘技术在上述几个领域内的应用。 [关键词]数据挖掘;客户关系管理:风险管理;欺诈监测 doi:10.3969/j.issn.1673—0194.201 1.09.015 [中图分类号]TP391;F832.33 [文献标识码]A [文章编号]1673—0194(2011)09-0059—04 1 前 言 术来进行数据库中知识的挖掘。例如.美国汇丰银行用 商业银行在经营的过程中积累了大量的数据.在 数据挖掘工具KXEN来挖掘不断增长的客户数据.用 信息时代,能否快速准确地从这些数据中发掘规律.获 来发现交叉销售和“翻滚”销售 美国花旗银行和瑞士 取知识:能否有效地利用这些规律和知识为银行的经 银行也是较早采用数据挖掘技术的银行 以美国第一 营、决策服务,对银行提升竞争力及长远发展来说,是 银行为代表的信贷银行深入地将数据挖掘技术运用到 至关重要的 信用卡用户分析中 然而.数据挖掘技术在银行业真正 发达国家和地区的商业银行早已利用数据挖掘技 得到重视是在客户关系管理系统兴起之后.众多的欧 [收稿日期]201 1-Ol一05 美银行纷纷采用数据挖掘技术来为自己的经营决策服 [作者简介]陈敏(1976一),女,黑龙江伊春人,北京银行博士后 务,其中包括美洲银行、美国商务银行、皇家苏格兰银 科研_T作站博士,主要研究方向:数据挖掘技术在商业银行中的应 行、法国兴业银行、德意志银行、荷兰银行、澳大利亚国 用。 档Bayes鉴别器[J].计算机学报,2004,27(4):566--572. 大连海事大学学报,2008,34(4):52-58. [17]奚伟鹏。李昕,蒋凯,武港山.面向网上论坛的信息抽取技术[J].计算 [21]Gilad Mishne,Natalie Glance.Leave a Reply:An Analysis ofWeblog 机丁二程.2oo5,3l(4):66--68. Comments[C]//rnle Third Annual Workshop on the Weblogging [18]吴吴,耿焕同.基于潜在语义分析的BBS主题发现算法研究[J1.电脑 Ecosystem,Edinburgh,Scotland,May 2006. 知识与技术,2oo8。4(2):43l 33. [22]时明达,林鸿飞.基于内容相关度和语义分析的Bl0g热点话题发现 [191蒋凡,高俊波,张敏,王煦法.BBS中主题发现原型系统的设计与实现 [J].计算机_T程与应用,2005,41(31):151—153. fC1∥内容计算的研究与应用前沿——第九届全国计算语言学学 [20]鲁明羽,姚晓娜,魏善岭.基于模糊聚类的网络论坛热点话题挖掘_J] .术会议论文集,2O07:570-575. Research on Development of Topic Detection and Tracking CHEN Xue—chang,HAN Jia—zhen,WEI Gui—ying (School of Economics and Management,University of Science and Technology Beijing,Beijing 100083,China) Abstract:The research object of TDT(Topic Detection and Tracking)is massive news flow,monitoring the topic of news,finds out new users attracting information,and somehow show the organized reports about a certain topic. At first,the paper introduces TDT and its primary tasks,related concepts and evaluation methods.Then,recent research situation about Topic Detection is focused.Finally,the paper analyzes the development tendency and fu— ture direction of Topic Detection. Key words:Topic;Topic Detection;Topic Tracking CHINA MANAGEMENTINFORMATIONIZATION,59 鬃统建设 民银行等。简言之。在数据仓库规模迅速膨胀,数据库 的组。每个组都叫做类(Cluster),每一类中的对象尽量 技术日益成熟的今天.发达国家和地区的银行都把数 相似.而不同类间的对象尽量不同。 据挖掘技术作为一个重要的战略决策手段。 2.4孤立点分析 上述欧美银行不仅有完善高效的数据收集系统, 数据库中可能包含一些数据对象。它们与数据的 最重要的是将数据仓库中的数据切切实实地变成了有 一般行为或模型不一致 这些数据对象是孤立点 用的知识.并在经验过程中.实现了知识到财富的转换 (Outlier)。统计方法常将孤立点视为噪声或异常而丢 过程。 弃.或试图使孤立点的影响最小化。但在一些应用中孤 相比于国外的银行.数据挖掘在我国商业银行中 立点本身可能是非常重要的信息,例如在欺诈探测中. 的应用则显得相对苍白无力.对大部分银行来说.还处 孤立点可能代表了欺诈行为 在数据收集、整理、规范的阶段。对大量数据的进一步 2_5演变分析 处理和应用.还处在一个相当原始的阶段 数据挖掘这 数据演变分析(Evoluti0n Analysis)描述行为随时 项强大的数据处理技术.仍停留在概念的层面。很多银 间而变化的对象的发展规律或趋势.并对其建模。例如 行不知道数据挖掘在哪些银行业务中可以得到应用. 可以从股票交易数据中挖掘出整个股票市场和特定公 更不了解数据挖掘针对银行业务的强大功能.因此在 司的股票演变规律.帮助预测股票市场的未来走向。帮 这方面的研究投入也不够。在此背景下.本文在概述数 助做出股票投资的决策。 据挖掘技术的前提下.探讨数据挖掘可能在商业银行 3 数据挖掘技术在商业银行中的应用 中的几种应Jt 2 数据挖掘技术简介 数据挖掘在商业银行的应用可以分为客户关系管 理、风险控制和金融欺诈识别3个方面。人们经常提到 数据挖掘是指“在数据中发现有效的、新颖的、潜 的市场营销。可以归在客户关系管理的范围内,客户关 在有用的、可理解的模式的非平凡过程”[r。数据挖掘这 个研究领域是数据库、模式识别、机器学习、统计学、人 系管理的其中一个作用就是通过分析客户特征,从而 工智能、并行与分布式计算、数学和可视化技术等多学 提供更合适的产品与服务,而这就是营销的本质。下面 科交叉的产物.是一个新兴的但具有广泛应用前景的 对数据挖掘在以上3个方面的应用进行介绍。 研究领域 数据挖掘的主要任务可以进一步分为如下 3.1客户关系管理 几类。 数据挖掘在客户关系管理中的应用相对成熟.早 2.1关联规则挖掘 在l0年前.国外的相关学者就提出.数据挖掘技术能 关联规则挖掘是从大量数据中发现项集之间有趣 够使CRM系统向顾客提供更有针对性.更高质量的服 的关联或相关联系.是形如 的蕴涵式,支持度s% 务 数据挖掘能够发现数据库当中数据之间深层次的 是指事务数据库D中至少有s%的事务包含A u :可 关联:能够将本质相似的数据归为同样的类;能够发掘 信度c%是指在事务数据库D中包含A的事务至少有 数据库中的异常数据.这都是传统的计量方法所不具 c%同时也包含B 关联规则可以帮助许多商务决策的 备的能力。因此当银行建立了CRM系统之后,需要做 制定。 的就是采用数据挖掘这样强大的工具来将数据库中的 2.2分类与预测 客户信息变成财富 分类需要构造分类函数或分类模型.通过分类函 总体来说.利用数据挖掘来进行客户关系管理要 数.把数据库中的数据项映射到某个类上 分类模型可 实现3个目标:首先是留住现有客户。维持一个老客户 以用多种形式表示,如分类(IF-THEN)规则、分类树、 所需的成本是寻求一个新客户成本的0.5倍。通过分析 数学公式或神经网络等 分类和预测可以用于提取描 现有客户的特征.挖掘客户的爱好和兴趣,从而以最快 述重要数据类的模型或预测数据未来的趋势.例如可 的速度响应客户的需求.有针对性地提供金融产品及 以通过建立分类模型.对银行的贷款客户进行分类.以 服务.可以提高客户的忠诚度,从而留住现有客户。其 降低贷款的风险等 次是实现现有客户价值最大化.客户的生命周期决定 2.3聚类分析 了在各个不同的阶段.客户对金融产品及服务的需求 聚类技术用于发现数据库中未知的类.与分类不 是不同的.因此要合理地满足同一个客户在不同生命 同之处在于.在聚类前对类的数量与类型均是未知的. 阶段的需求,在令客户满意的同时,最大限度地实现客 是按照“物以类聚”的原则.将满足相似性条件的对象 户价值 最后是通过提供更有竞争力的产品与服务,通 划分在一组内.不满足相似性条件的对象划分在不同 过更有效的营销手段来吸引其他银行的客户 60/CHINA MANAGEMENTINFORMATIONIZATION 系统建设 要满足上述三个目标.就需要深入了解客户特征. 金融市场的动荡。数据挖掘弥补了统计方法的不足,目 而市场细分的过程就是发现客户特征的过程。银行业 前已广泛地应用于金融时间序列分析 时间序列模式 正在实现从大众营销到一对一营销的转变.劳埃德 挖掘研究目前主要集中在时间序列中相似序列搜索、 关联模式发现、周期模式发现以及异常 B集团(Lloyds TSB)的Accucard和蒙特利尔银行的 频繁模式发现、Mosaik产品已经分别通过允许客户创立自己的账户、 数据挖掘等方面,采用的方法主要有神经网络、遗传算 粗糙集、支持向量机等。 选择年收益率(APR)、费用、卡型及奖励回馈来探索一 法、模糊理论、信用风险评估实质上是一个分类和预测的问题. 对一的营销理念。数据挖掘的分类、聚类等技术能够将 数据库进行细分.这两项技术的差别在于一个是有监 按照不同情况把客户分成若干组.并且预测客户分到 督的学习。一个是无监督的学习。均能在客户细分的研 相应类别组的概率 而分类和预测正是数据挖掘的主 究方面起到很好的作用.从而发现不同的客户对产品 要任务之一 目前得到较广泛应用的分类技术有神经 的不同需求 网络与决策树。在数据挖掘技术中.神经网络模型最早 除了分类、聚类。关联规则也是重要的CRM系统 被应用在个人信用评估上。Odom和Sharda(1990)E33采 分析技术.通过关联规则.银行可以发现产品之间的销 用人工神经网络技术.对Ahman(1968)研究中的5个 售关联.这有助于实现产品的交叉销售。交叉销售作为 财务比率.选取1975—1982年间的65家正常公司和 一种重要的营销手段.不但能更好地进行产品营销。更 65家财务危机公司作为样本.选取企业财务危机前一 重要的作用是保留能够带来利润的客户 年的财务资料,建立了神经网络预警模型.再与基于统 目前在国内.一些先进的商业银行开始使用一些 计的分类方法做比较.结果证明其预测的准确率要高 通用的数据挖掘软件。学术界的研究也处于探索阶段。 于基于统计的方法.从而实现贷款风险监测中的建模 从已有的研究文献来看.大部分属于描述性和介绍性 和预报功能。通过数据挖掘当中的分类技术,商业银行 文章.虽然近年来有了数据挖掘在商业银行应用的一 可以将贷款对象根据风险的高低进行分类.对于新的 些具体实施方面的介绍.却几乎都集中在软件的使用 贷款申请者.可以将其归类进而预测其风险的大小。 上 这类软件所采用的算法往往是一些基础的数据挖 3.3金融欺诈监测 掘算法,挖掘的准确率和速度均有待提高,例如,著名 目前在这方面的研究主要集中在信用卡欺诈研究 的数据挖掘软件SPsS l7所采用的聚类算法仅有二步 和反洗钱研究这两个问题上 聚类及K—means算法.了解数据挖掘聚类算法的学者 在信用卡欺诈研究方面.目前主要采用的数据挖 都知道.很多聚类算法的聚类效果要远远地优于这两 掘技术是分类,如我们一再提到的神经网络、决策树及 种算法.例如基于密度的算法DBSCAN等。除了算法的 各种分类组合方法.同时关联规则在信用卡欺诈研究 不足.学术研究的内容也大部分局限于分类及聚类.没 方面也有一定的应用.Chiu and Tsai(2004)C4 ̄就采用改 有更广泛的研究:另外对于数据挖掘结果也没有深入 进的Apriori算法研究了欺诈数据的典型形式。国际 说明与阐述 上.花旗银行、美国第一银行等欧美银行早已将数据挖 3.2风险管理 掘作为信用卡欺诈研究的重要工具。然而。我国的信用 商业银行所面临的风险主要有市场风险、信用风 卡业务起步较晚.对其特殊性和潜在风险缺乏足够的 险和操作风险.风险控制对于商业银行的可持续发展 认识.无论是学术研究水平还是商业银行的反欺诈水 平.都与国际上先进的银行有着不小的差距,数据挖掘 来说是至关重要的 随着信息时代的发展.风险管理的 技术几乎没有得到有效的应用 手段也在逐步发展.总体趋势是由定性分析向定量分 在反洗钱方面.数据挖掘技术也有着不俗的表现, 析转变.由主观分析向客观分析转变。数据挖掘由于具 主要应用的技术有孤立点分析、序列模式挖掘、分类研 有不需要依靠假设条件、能够处理大规模数据等优点, 究、聚类分析等。这方面的杰出代表有美国金融犯罪执 目前已经在市场风险与信用风险的防范中开始崭露头 法网络(FinCEN)的FAIS系统.其采用数据挖掘技术来 角.用于建立全面的风险管理预警体系,发现经营中存 实现对可疑交易报告进行分析和评估:另外还有澳大 在的问题.增强风险识别和防范能力。 利亚交易分析与报告中心fAustralian Transaction 市场风险指因股市价格、利率、汇率、商品价格等 Reports and Analysis Center).该中心采用数据挖掘技 风险因子的变动而导致银行表内和表外业务发生损失 术开发了ScreenIT系统.用来实现可疑交易报告自动 的风险 其中无论哪一个风险因子的变化都会产生海 筛选;另外欧盟、加拿大也早已将数据挖掘技术应用到 量的金融时间序列数据。传统的统计分析方法需要严 可疑金融交易识别中。与上述发达国家和地区相比.虽 苛的假设条件.并且只能着眼于全局,不能准确地描述 然我国央行于2004年成立了反洗钱监测中心.国家外 CHINA MANAGEMENTINFORMATIONIZATION,61 2011年5月 中国管理信息化 China Management Informationization May,2011 V01.14.No.9 第l4卷第9期 烟草商业企业数字仓库的基本流程 与系统功能设计研究 杜秀亭 (内蒙古自治区烟草公司,呼和浩特010010) [摘要】数字仓库的应用将协助企业保证供应、压缩库存、提高货物周转效率、节约成本。本文介绍了数字仓库的 概念。研究了烟草商业企业数字仓库的基本流程与系统功能结构与设计.并对数字仓库的效益进行了评价。对这些 问题的深入研究将有利于提高烟草商业企业的物流水平和服务效率 [关键词]数字仓库;流程;库存 doi:10.3969/j.issn.1673—0194.201 1.09.016 [中图分类号]TP315;F270 [文献标识码]A [文章编号]1673—0194(2011)09-0062—04 烟草商业企业通过近几年的网建工作和与之配套 对卷烟经营业户的服务质量,拓展了卷烟市场,对烟草 的信息化建设,规范了卷烟经营行为,开拓了市场资 企业的发展有着深远的影响。 源.同时也为建立基于现代物流技术的经营模式奠定 随着烟草流通领域的市场竞争13趋激烈。烟草企 了基础。目前各地实行的访销配送模式,极大地提高了 业居安思危.在健全的营销网络和全面信息化的基础 上,通过现代化的仓库管理,建立完善的仓储和配送体 [收稿日期]2011一Ol一05 汇管理局于2005年开发并推广了反洗钱信息辅助核 查平台.然而我国的反洗钱系统建设不够完善 由于金 融欺诈犯罪手段日新月异.识别可疑金融交易信息的 主要参考文献 [1]Fayyad U,Piatetsky-Shapiro G,Smyth 54. From Data Mining to 技术也必须不断改进以适应其变化.数据挖掘等先进 技术的应用更需要进一步深入 Knowledge Discovery in Databases[J].AI Magasine,1996,17(3):37- [2]L S Tillett.Banks Mine Customer Data[J].Internet Week,2000(831): 45—46. 4 结 论 本文针对国内商业银行对数据挖掘技术不够了解 这一情况.首先介绍了数据挖掘技术及其主要任务.并 在此基础上介绍了数据挖掘技术在商业银行中应用的 主要业务领域.指出了我国大部分商业银行对数据挖 掘技术的认识仍停留在粗浅的概念上.无论是商业银 行或学术界都需要加强这方面的研究与实践 [3]M D Odom,R Shard&A Neural Networks for Bankruptcy Prediction[C] //The proceedings of International Joint Conference on Neural Networks,1990:163-168. [4]Chiu C&Tsai C.A Web Services—Based Coilaborative Scheme for Credit Card Fraud Detection[C]//The Proceedings of IEEE International Conference on e-Technology,e-Commerce and e— Service,2004. Application of Data Mining Technology in Business of Commercial Banks CHEN Min (Post Doctoral Programme of Bank of Beijing,Beijing 100081,China) Abstract:Data mining analyses the massive data in the CRM system of commercial banks effectively,by turning the information into knowledge,data mining benefits the banks with making better business decision.Based on the introduction of data mining technology and the main mining targets,this paper summarizes that the CRM,risk management and fraud detection,and then introduces the application of data mining in those research fields. Key words:Data Mining;CRM;Risk Management;Fraud Detection t・2 i CHINA MANAGEMENT INFORMATIONIZATION