1、基于此，叙述了大数据的特点，探讨了数据挖掘的基本方法和对大数据挖掘的发展展望。关键词： 大数据；数据挖掘；MBR 分析中图分类号：G712 文献标识码：A 文章编号：1003-9767（2016）01-122-0221 世纪是个信息时代，大数据时代，数据无处不在，它不仅是文字、字符、语音，更是图像或视频。人们在互联网上的一切行为轨迹，比如淘宝上的购物数据，百度搜索关键字，随身手机健身运动记录等等注入大数据的海洋。试想，全球 70 亿人口，每时每刻会产生多少数据，他们如何被记录或开发呢？互联网技术的成熟，借靠网络媒体和硬盘的存储能力，记录海量信息越来越简单，麦肯锡作为全球知名咨询公司在 他的一份
2、报告大数据：创新、竞争和生产力的下一个新领 域，称“大数据”时代已经到来，大数据长驱渗透至每一个行业、每个业务职能领域。对信息挖掘并加以利用的能力 将决定其是否能及时地抓住机遇。大数据的特点基维百科对大数据定义为：规模巨大到无法用目前的软 件工具处理的资料量，在相应时间内完成撷取、管理、处理 后利于企业完成经营目标的资讯；市场研究机构将大数据定 义为必须用新型的处理模式才更好地洞察、决策并优化流程 的巨量、多样化且高速增长的信息资产。我们通俗的理解为 一般指在 10TB 规模以上的数据量。其同时具备数据量大、数据种类繁多、价值密度低、处理速度快等特点。因此，大数据的战略意义在对富有意义的数据进
3、行专业 化处理，而不在于掌握多么庞大的数据信息，对他们进行“过 滤”“整合”“加工”，实现数据的“增值”。这就成了一个亟待解决的问题，引领互联网数据处理进入了数据挖掘时 代。数据挖掘的基本分析方法数据挖掘理论上讲是一个在海量数据中利用分析工具充 分发现模型与数据间关系的这么一个过程，通过数据挖掘可 以帮助决策者寻找数据间潜在的某种关联，发现隐藏的、被 忽略的因素。它融合了统计学、人工智能、数据库、机器学 习等多领域的理论与技术，因此成为一门交叉学科，这些学 科反过来对数据挖掘提供了强大的技术支持。传统的数据挖掘更倾向于对代码和算法的编辑，作为面 对大数据的数据挖掘，绝非仅仅停留在对数据进行统计
4、分类 的层面，更需要智能化的分析，通过科学可靠的算法，通过 不同的分析方法，找出数据中潜在的规律，解决不同类型的 问题，在现实中针对不同的分析目标，给予相对应的方法， 现阶段常用的分析方法主要以下几种。2.1 基于历史的 MBR 分析 （Memory-Based Reasoning）它基本的概念是用已知的案例来预测未来案例可能存在 的一些属性，通过足够的历史数据寻找最相似的案例来做比 较。通过记忆基础推理法完成包括医学诊疗、欺骗行为的侦 测、反应的归类、客户反应预测等方面的推理和预测。2.2 聚类分析这个技术涵盖范围相当广泛，它的目标为通过相似的方 法来收集数据分类，将物理或抽象对象的集合进行
5、分组，找 出数据中以前未知的相似群体，作为研究的开端，运用到群 集侦测技术。2.3 决策树也称为分类与预测，通过决策树来解决有着极强的能力。 所谓的决策树就是一个树根在顶端，许多树叶在底部，以法则的方式表达，将记录分解成不同的子集，每个子集中的字段都包含一个较为简单的法则，这些法则以若干个的问题表示出来，通过不同的外形，如二元树、三元树、混合元树， 不断询问问题最终导出所需的结果。2.4 连接分析（关联分析）在自然界，人与人、物与物或是人与物之间存在着千丝 万缕的联系。连接分析就是利用各种事物之间存在的关联知 识或依赖来发现事物之间存在的规律性，进行预测。例如“尿 布与啤酒”的经典案例，著名的
6、谷歌成功预测流感的案例， 正是对关联数据进行了智能化的分析总结，才将这两个仿佛 毫无关联性的商品摆到了一起从而增加了各自的销量。2.5 遗传基因算法作为一种由生物进化而启发的一种学习方法，遗传算法 常被用作评估其他算法的适合度，模拟细胞演化的过程，通 过对当前已知的假设变异和重组，类似细胞间不断的选择、作者简介：吴小惠（1971-），女，福建沙县人，本科，副教授。研究方向：计算机软件技术。2016 年 第 1 期Communication数据库技术复制、交配、突变产生更佳的新细胞，来生成后续的假设。具体的说，利用适合函数，将目前可行性最高的假设的后 代来代替群体的某个部分，提高个体的适应性。通
7、常在群集（Cluster） 问题上有不错的表现。2.6 人工神经网络神经网络是建立在自学习的数学模型基础之上的，通过 重复学习的方法，将一串例子交与学习和复杂的大批量数据 分析，实现对于电脑或人脑来说非常复杂的模式抽取及趋势 分析。目前在数据挖掘中，最常使用类神经学习的方式，是BP 网络和 RBF 网络两种神经网络。大数据挖掘的发展前景在技术方面，科学家们从现有层面上提出各种新兴技术。 比如从数据处理角度，有分布式处理方法 MapReduce ，较著名的应用工具有 Hadoop 和 DISCO。从数据库角度出发，在信息检索、流媒体存储等方面有 NOSQL 开发工具，以及对应超大规模和高并发的
8、SNS 类型的 WEB2.0 纯动态网站而使用的非关系数据库高速发展，如MongoDB、CouchDB 。在如何提取有价值的信息，处理底层的结构化技术支持外，数据挖掘算法，机器学习算法都是必不可少的。在信息安全方面，大数据挖掘将成为信息安全发展的契 机。如今，数据无处不在降低了自身信息的安全性。例如存 储于云端的大量数据，至今还没有形成有效的集中管理，而 单独的管理用户信息无法一一分辨其是否合法，这就提高了 非法入侵、篡改数据信息的危险性。对此，各种为信息安全 服务的技术和产品成为大数据研究中心的方向和信息安全领 域的首要问题。因此如何保证数据产业链的安全对信息安全 发展具有重要的意义。在企业
9、经营管理和产业服务方面，大数据挖掘将成为企 业及服务机构等诸多行业的转折点。伴随着大数据挖掘技术 在企业管理中带来经济效益的同时，也带来了管理模式的巨 大改变，企业必须拥有三类人才：管理人才、分析人才及技 术型人才，紧跟时代脉搏，从大数据中获得关键信息，及时 调整企业产业规划，才能在时代变革中保持自身利益，求得 生存。在教育教学方面，面授式教学，尤其在大学，已经突显落后，一所具有强大数据挖掘能力的远程教学平台，信息化 教学的数字校园，能为师生提供更具个性化的数据支撑和服 务。在校园启用“大数据”，通过便捷的多元的采集方式， 建立基础数据平台并和教学资源，提供标准数据接口，统一 采集、认证，集中
10、存储，开放计算，最终消除“信息孤岛”。在商业价值方面，大数据挖掘将成为创造价值的核心。时间虽短，历经二十年打开了一个新的时代，引领全球进入创新和发展的新的竞争模式。例如，欧洲政府运用大数据而分别节省 1000 亿欧元，美国医疗业则节省了和 3000 亿美元， 此外，大数据中潜在个人信息价值不可估量。世界各国政府都加大了对大数据发展的扶持力度，特别在发达国家甚至上升到国家战略的高度。 结语我国正步入了大数据时代发展的中坚核心，加大对大数据及数据挖掘的研究及合理利用，及时开展人才培训、研究大 数据挖掘技术、信息安全系统研究配合调整发展政策。展望未 来，我们最终会利用纷繁复杂的数据建立起人工智能的信
11、息时 代。但数据大并不等于大数据，当繁杂的价值密度低的信息数 据堆现于眼前，数据就是一个噩梦。人们无法回避对数据安全 性、应用性及隐私保护的担忧。试想，放任软件继续在几何递增的数据库上执行海量的科学计算，在此基础上进行科学、 经济和军事安全等领域的决策制定，我们是不是过多地把权力 交给了机器？这是研究大数据需要注意的问题。参考文献1 王树良 , 丁刚毅 , 钟鸣 . 大数据下的空间数据挖掘思考 J. 中国电子科学研究院学报 ,2013（2）.2 孟小峰 , 慈祥 . 大数据管理：概念、技术与挑战 J.计算机研究与发展 ,2013,50（1）.3 程陈 . 大数据挖掘分析 J. 软件 ,2014（4）.4 钟瑛 , 张恒山 . 大数据的缘起、冲击及其应对 J. 现代传播 ,2013（7）.5 David J.Tenen Baum. 数据之舞：大数据与数据挖掘 J.求知导刊 ,2013（1）.
