1、数据挖掘技术在CRM中的应用张喆数据挖掘技术在CRM中的应用张吉吉1,常桂然2,黄小原1(1.东北大学工商管理学院,辽宁沈阳110004;2.东北大学信息科学与工程学院,辽宁沈阳110004)数据挖掘、专家系统和人工智能、呼叫中心等。CRM的焦点是自动化并改善与销售、市场营销、客户服务和支持等领域的与客户关系有关的商业流程。它的目标是缩减销售周期和销售成本、增加收入、寻找扩展业务所需的新市场和渠道以及提高客户的价格、满意度、盈利性和忠诚度22。图1描述了CRM的体系结构。图1CRM的体系结构从体系结构角度看,整个CRM架构可以分为三个关键部分:(1)操作层次的CRM:用于自动地集成商业过程,包
2、括对销售、营销和客户服务三部分业务流程的信息化,客户接触点、渠道、前后端的集成36;(2)分析层次的CRM:用于操作层次CRM和客户互动产生的信息的分析处理,通过基于数据仓库的数据挖掘产生商业智能以支持企业战略战术的决策32,包括:客户服务支持11、客户市场细分、客户变动分析、交互和垂直销售分析、新客户模型、客户接触最优化4、广告分析15、信用风险得分、客户生命周期价值模型等35;(3)客户互动:关注客户接触点的交互,即与客户进行沟通所需要的手段(如呼叫中心、网络、电话、Email等)的集成和自动化处理。3CRM中数据挖掘的系统结构3.1系统结构对于数据挖掘(Data Mining),一种比较
3、公认的定义是W.J.Frawley,G.Piatetsky-Shapiro等人提出的:数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的潜在有用信息,提取的知识表示概念(concepts)、规则(rules)、规律(regularities)、模式(patterns)等形式。这种定义把数据挖掘的对象定义为数据库。而更广义的说法是:数据挖掘意味着在一些事实或观察数据的集合中寻找模式的决策支持过程。数据挖掘的对象不仅是数据库,也可以是文件系统,或其他任何组织在一起的数据集合25。数据挖掘是知识发现的过程。数据仓库(Data Warehouse)已经成为现代数据挖掘的
4、有效平台,并努力实现紧密耦合。按照“数据仓库之父”William H.Inmon的描述,数据仓库是一个面向主题的(subject-oriented)、集成的(integrat-ed)、时变的(time-variant)、非易失的(nonvolatile)数据集合,支持管理部门的决策过程13。CRM中的数据挖掘就是利用数据挖掘理论和技术创建描述和预测客户行为的模型,以实现企业有效的客户关系管理。今天的技术可以使挖掘过程自动化,把数据挖掘与数据仓库紧密集成,并使用可视化和知识表示技术,向商业用户提供挖掘的知识2。图2描述了CRM中数据挖掘的系统结构。54中国管理科学2003年图2CRM中数据挖掘系
5、统结构在系统结构中,底层为数据源,包括联系历史、交易历史、客户数据库、产品数据库及其他外部数据,通过ETL工具提取数据形成数据仓库和数据集市,以形成面向全局的数据视图,从而形成整个系统的数据基础;在此基础上,通过OLAP和OLAM服务器支持数据分析处理包括查询/报表、OLAP/EIS分析和数据挖掘分析;将分析结果用于操作型CRM和客户互动渠道以实现企业客户关系管理中的商业智能和决策支持。3.2基本过程在CRM中数据挖掘过程由于看待问题角度不同有两种描述:以技术为中心的数据挖掘过程和以商业为中心的数据挖掘过程。以技术为中心的观点认为主要精力应该用于保证数据的处理和运转以及不断的试验和改进数据挖掘
6、技术上。而以商业为中心的观点认为重点是商业问题的定义、投资回服率和对数据的理解上2。图3和图4分别描述了以技术为中心的数据挖掘过程和以商业为中心的数据挖掘过程。图3以技术为中心的数据挖掘过程以技术为中心的数据挖掘过程主要描述从技术角度进行数据清理、集成、选择、变换等数据处理,使用智能方法提取数据模式,依据兴趣度度量,识别有价值模式,最后使用可视化和知识表示技术,向用户提供挖掘的知识。以商业为中心的数据挖掘过程主要描述从业务55第1期张等:数据挖掘技术在CRM中的应用图4以商业为中心的数据挖掘过程问题角度进行数据定义和投资回报率(ROI)定义,在此基础上进行数据挖掘描述/预测模式的应用,并预测R
7、OI,根据结果选择配置挖掘模式并测试实际ROI。4CRM中数据挖掘的应用研究领域4.1CRM中应用的数据挖掘技术在CRM中数据挖掘技术都有着广泛的应用5,主要体现在:(1)概念/类描述。概念描述以简洁汇总的形式描述给定的任务相关数据集,提供数据价值的一般特性,一般应用于CRM中的描述式数据挖掘。概念或类描述由特征比和比较或区分组成,有两种一般方法:基于数据立方体OLAP的方法和面向属性归纳的方法。(2)关联分析。关联分析发现关联规则,广泛用于购物蓝、商务管理和决策分析,是商业分析中应用最为广泛的一种数据挖掘方法和模式。(3)分类和预测分析。分类和预测是CRM中数据分析的两种重要形式,可以用于提
8、取描述重要数据类的模型或预测未来的数据趋势。主要方法包括:决策树/判定树、贝叶斯法、BP神经网络算法、遗传算法、粗糙集、模糊集等。(4)聚类分析。属于无指导学习。对象根据最大化类内的相似性、最小化类内的相似性的原则进行聚类或分组。聚类分析在CRM中有广泛的应用,它可以用作独立的数据挖掘工具来获得对数据分布的了解,也可以作为其他数据挖掘算法的预处理步骤。主要方法包括:划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法等。(5)孤立点分析。对于欺诈探测、定制市场及其它CRM任务是非常有用的。基于计算机的孤立点挖掘方法包括统计学方法、基于距离的方法和基于偏差的方法。(6)演变分析。用
9、于CRM中的趋势分析、相似性搜索、与时间有关的序列模式挖掘和周期模式挖掘。(7)复杂类型的数据挖掘。是数据挖掘技术的当前一个重要的研究领域,极大提升了CRM数据分析能力的深度和广度,主要包括:多媒体数据挖掘、文本挖掘和Web挖掘等。4.2从客户生命周期角度分析数据挖掘技术的应用在对CRM的广泛理解中,最简单的含义就是:管理所有与客户的交互行为。在实践中,这需要在客户关系的各个阶段使用与客户相关的信息来预测与客户的交互行为。客户关系的各个阶段定义为客户生命周期。客户生命周期包括三个阶段:获得客户;提高客户的价值;保持效益客户。如果将数据挖掘结合在CRM中或者作为一个独立的应用程序来实施,数据挖掘
10、可以在每一个阶段都提高企业的收益8。(1)通过数据挖掘获取新客户:在CRM中的第一步是识别潜在客户然后将他们转变成真正的客户,数据挖掘可以辅助进行客户细分,识别潜在客户33。(2)提高客户价值:数据挖掘支持客户盈利能力分析,预测客户盈利能力变动以增强客户盈利能力;支持客户购买行为模式分析,进行客户细分,从而提供更具针对性的个性化服务1;有效进行交叉营销,向现有的客户提供新的产品和服务,实现购买推荐和升级销售18。(3)客户保持:包括客户忠诚度分析和客户流失警示分析。通过数据挖掘,对客户历史交易行为的分析,警示客户异常行为,并提出相应的对策建议。4.3从行业角度分析数据挖掘技术的应用CRM中数据
11、挖掘应用的深度和广度针对行业的不同而有所不同,特别是针对与客户交流频繁、客户支持要求高的行业,如银行、证券、保险、电信、税务、零售、旅游、航空、医疗保健等。下面例举零售业、电信业、金融业CRM中数据挖掘的应用10。(1)零售业CRM中的数据挖掘:零售业CRM是数据挖掘的主要应用领域,特别是由于日益增长的Web或电子商务方式的兴起9。零售数据挖掘可有助于识别客户购买行为,发现客户购买模式和趋势,改进服务质量,取得更好的客户保持力和满意度,提高货品销量比率,设计更好的货品运输与分销策略,减少商业成本30。例如:使用多特征数据立方体进行销售、客户、产品、时间和地区的多维分56中国管理科学2003年摘
12、要:客户关系管理(CRM)是数据挖掘技术的重要应用领域,也正是因为具有数据挖掘技术的支持才使CRM具有越来越广泛的市场价值和研究价值。本篇论文综述了面向CRM的数据挖掘应用的总体研究情况。包括面向CRM数据挖掘的体系结构;从客户生命周期的角度和行业应用角度分析了CRM中数据挖掘的应用状况;最后结合当前数据挖掘技术的发展指出了CRM中数据挖掘应用的进一步发展趋势以及我国在该领域的研究方向。关键词:数据挖掘;客户关系管理(CRM);知识发现;决策支持;电子商务中图分类号:TP391文献标识码:A收稿日期:2002-05-27;修订日期:2002-12-08基金项目:辽宁省自然科学基金资助项目(99
13、10200208)作者简介:张吉吉(1973-),女(汉族),辽宁锦州人,东北大学博士研究生,研究方向:数据挖掘与CRM.1引言Gartner Group的一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首,并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。根据Gartner的HPC研究表明,“随着数据捕获、传输和存储技术的快速发展,用户将更多地需要采用新技术来挖掘市场价值,采用更为广阔的并行处理系统来创建新的商业增长点。”数据挖掘技术将在未来的数据计算中扮演越来越重要的角色7。CRM是数据挖掘重要的应用领域,包括客户获取、
14、客户保持、客户价值提升等客户关系管理的各个方面。也正是有了数据挖掘技术的支持,才使CRM的理念和目标得以实现,满足现代电子商务时代的需求和挑战14。而CRM是电子商务活动的核心部分。对CRM的重视是现代市场营销理念和商业运作方式转变的结果,并具有广泛的市场价值和研究价值。根据2002年4月IDC的最新研究报告,全球CRM业务2006年将超过450亿美元,年平均增长率达到18.6%。与此同时,Gartner Group也预测全球CRM业务2006年将达到470亿美元,而2002年将达到253亿美元16。目前,面向CRM的数据挖掘应用研究是数据挖掘应用领域研究的一个重要课题。研究涉及应用功能、应用
15、方法、算法、模型、数据处理、系统设计和开发等方面。本篇论文综述了面向CRM的数据挖掘应用的总体研究情况。首先描述了面向CRM数据挖掘的体系结构;然后从客户生命周期的角度和行业应用角度分析了CRM中数据挖掘的应用和研究状况;最后结合当前数据挖掘技术的发展,指出了CRM中数据挖掘应用的进一步发展趋势以及我国在该领域的研究方向。2CRM体系结构客户关系管理(Customer Relationship Manage-ment,CRM)起源于80年代初提出的接触管理(Contact Management),即专门收集整理客户与公司联系的所有信息。到90年代初期则演变成为包括电话服务中心与支援资料分析的客
16、户服务(Cus-tomer Care)。经历了近二十年的不断发展,客户关系管理不断演变发展,逐渐形成了一套管理理论体系和应用技术体系。CRM的概念最早由GartnerGroup提出,即认为为企业提供全方位的管理视角,赋予企业更完善的客户交流能力,最大化客户的收益率32。CRM是一种以客户为中心的市场营销理念和策略,它以信息技术为手段,对业务功能进行重新设计,并对工作流程进行重组。它集合了现代信息技术包括:Internet和电子商务、多媒体技术、数据仓使用多维分析和关联分析进行促销活动的有效性分析;序列模式挖掘可用于客户忠诚分析;利用关联分析挖掘关联信息进行购买推荐和商品参照20。(2)电信业C
17、RM中的数据挖掘:电信业已经迅速地从单纯的提供市话服务演变为提供综合电信服务。电信网、因特网和各种其他方式的通信和计算的融合是目前的大势所趋。利用数据挖掘技术可帮助理解商业行为、确定电信模式、捕捉盗用行为、更好的利用资源和提高服务质量。例如:电信数据的多维分析有助于识别和比较数据通信情况、系统负载、资源使用、用户组行为、利润等;通过多维分析、聚类分析和孤立点分析进行盗用模式分析和异常模式识别;通过多维关联和序列模式分析进行电信服务组合和个性化服务;电信数据分析中可视化工具的使用。(3)金融业CRM中的数据挖掘:大部分银行和金融机构都提供丰富多样的储蓄服务、信用服务、投资服务。还提供保险服务和股
18、票投资服务。在银行和金融机构中产生的金融数据通常相对比较完整、可靠,这大大方便了系统化的数据分析和数据挖掘。以下给出几种典型的应用情况:为多维数据分析和数据挖掘设计和构造数据仓库;特征选择和属性相关性计算有助于贷款偿还预测和客户信用政策分析;分类和聚类的方法可用于客户群体的识别和目标市场的分析6;通过数据可视化、链接分析、分类、聚类分析、孤立点分析、序列分析等分析工具帮助进行洗黑钱和其他金融犯罪的侦破。5CRM中数据挖掘应用研究的发展方向数据挖掘技术在CRM中的应用研究是当前的研究热点。目前CRM中进行有效的数据挖掘面临的主要技术问题包括:(1)挖掘方法和用户交互问题:挖掘的知识类型21;多个
19、抽象层的交互知识挖掘27;领域知识的使用23;数据挖掘查询语言12;数据挖掘结果的表示和可视化19;处理噪声和不完全数据;模式评估-兴趣度问题。(2)性能问题:数据挖掘算法的有效性和可伸缩性;并行31、分布式28和增量24挖掘算法。(3)关于数据库类型的多样性问题:关系的和复杂的数据类型的处理9;由异种数据库29和全球信息系统挖掘信息如Web挖掘3。其他问题包括数据挖掘的应用开发和它们的社会影响。这些问题是数据挖掘技术未来发展的主要需求,同时给数据挖掘也提出了许多挑战性的课题。目前面对我国企业发展的特殊轨迹,国内在该领域的研究和应用明显落后于国外。面对我国的CRM的认知程度和应用层次以及国情的
20、需要,数据挖掘技术在CRM中的应用研究方向建议应主要面向如下方面:(1)应用的探索:电子商务已经成为现代商务的主流因素,同时ASP(应用服务提供商)是现代信息服务的重要方式,因此基于电子商务环境下和ASP模式下CRM数据挖掘的特定应用具有重要的研究价值2;(2)应用目标的转变:随着企业的战略目标的转变,CRM中的数据挖掘的应用目标重点应从增加企业收入转移到节约企业成本16;(3)应用的对象:从企业规模来看,中小型企业是企业类型中的主体,针对中小型企业的CRM应用相应的数据挖掘技术提升决策支持的智能化水平对中国企业具有特别的意义;(4)数据挖掘与数据库系统、数据仓库系统和Web数据库系统集成:这
21、将保证数据挖掘的高质量,提高数据挖掘的性能和效率,从而改善CRM决策支持的有效性34;(5)CRM中复杂数据类型挖掘:由于CRM应用深度和广度的有力延伸,针对复杂数据类型的现存数据分析技术与数据挖掘方法的集成研究变得越来越重要26;(6)Web挖掘:Web是当前CRM的主要应用平台,包括Web内容挖掘、Web日志挖掘和Internet上的数据挖掘服务等内容是重要的研究领域17;(7)CRM中的隐私保护与信息安全:这是数据挖掘技术要面对的一个重要问题,需要进一步开发有关方法以确保客户的隐私权和信息安全7。6结束语数据挖掘技术在电子商务时代CRM中有着广泛而深入的应用,这一研究领域体现着越来越大的
22、研究价值。随着数据挖掘技术的进一步发展和深化,必然会带给CRM更为广泛的应用前景和市场价值。这种价值对增强我国企业的核心竞争力将会发挥越来越大的作用。参考文献:1Adomavicius,G.,A.Tuzhilin.Expert-driven validation ofrule-based user models in personalization applicationsJ.57第1期张等:数据挖掘技术在CRM中的应用ata Mining and Knowledge Discovery,2001,5(1-2):33-58.2Berson,A.,S.Smith,K.Thearling.Buil
23、ding data miningapplications for CRMM.New York:McGraw-Hill,1999,125-175.3Bapna,R.,P.Goes,A.Gupta.Comparative analysis of multi-item online auctions:evidence from the laboratoryJ.Decision Support Systems,2001,32(2):135-153.4Bhattacherjee,A.An empirical analysis of the antecedentsof electronic commerc
24、e service continuanceJ.DecisionSupport Systems,2001,32(2):201-214.5Bose,I.,R.K.Mahapatra.Business data mining-a ma-chine learning perspectiveJ.Information&Manage-ment,2001,39(3):211-225.6Dhar,V.,D.Chou,F.Provost.Discovering interesting pat-terns for investment decision making with GLOWERxcirc-a gene
25、tic learner overlaid with entropy reductionJ.Data Mining and Knowledge Discovery,2000,4(4):251-280.7DM Review.Data Mining Lead Technologies Toward U-biquitous Computing and Privacy LossZ.http:/www.2002,5.8Edelstein,H.Building profitable customer relationship withdata miningR.Two Crows Corporation,20
26、01,10:1-12.9Gangopadhyay,A.An image-based system for electronicretailingJ.Decision Support Systems,2001,32(2):107-116.10Han,J.W.,M.Kamber.Data mining:concepts and tech-niquesM.San Francisco:Morgan Kaufmann,2000.451-481.11Hui,S.C.,G.Jha.Data mining for customer service sup-portJ.Information&Managemen
27、t,2000,38(1):1-13.12Imielinski,T.,A.Virmani.MSQL:a query language fordatabase miningJ.Data Mining and Knowledge Discov-ery,1999,3(4):373-408.13Inmon,W.H.Building the data warehouse(2nd)M.New York:John wiley&Sons,1996.20-114.14Kannan,P.K.,H.R.Rao.Introduction to the special is-sue:decision support is
28、sues in customer relationship man-agement and interactive marketing for e-commerceJ.Decision Support Systems,2001,32(2):83-84.15Karuga,G.G.,A.M.Khraban,K.S.Nair,D.O.Rice.Ad-Palette:an algorithm for customizing online advertisementson the flyJ.Decision Support Systems,2001,32(2):85-106.16K.D.Nuggets.
29、IDC projects growth in CRM ServicesMarket;Datamonitor finds 44%CRM failure rateZ.2002,4.17Kosala,R.,H.Blockeel.Web mining research:a surveyJ.SIGKDD Explorations.2000,2(1):1-15.18Lawrence,R.D.,S.G.Almasi,V.Kotlyar,S.M.Viveros,S.S.Duri.Personalization of supermarket product recom-mendationsJ.Data Mining and Knowledge Discovery,2001,5(1-2):11-32.19Lee,J.Y.,M.Podlaseck,E.Schonberg,R.Hoch.Visual-ization and analysis of clickstream data of online stores forunderstanding Web merchandisingJ.Data Mi
