卷烟生产现场数据展示研究系统的设计与实现.docx
- 文档编号:10349488
- 上传时间:2023-05-25
- 格式:DOCX
- 页数:139
- 大小:2.21MB
卷烟生产现场数据展示研究系统的设计与实现.docx
《卷烟生产现场数据展示研究系统的设计与实现.docx》由会员分享,可在线阅读,更多相关《卷烟生产现场数据展示研究系统的设计与实现.docx(139页珍藏版)》请在冰点文库上搜索。
卷烟生产现场数据展示研究系统的设计与实现
卷烟生产现场数据展示研究系统的设计与实现
中文摘要
中文摘要
随着数据挖掘理论研究的不断深入,数据挖掘在各个行业中的应用越来越普遍,制造业也逐渐进入了智能及数据分析阶段。
虽然国内制造业大部分还停留在底层的数据库及内容管理阶段,但有的企业已经开始通过数据仓库整合各种数据,并为实现更高层面数据分析打下了坚实的基础。
卷烟生产现场的数据是卷烟企业生产管理的基础,卷烟企业各个应用系统中储存了大量的生产现场数据,本论文探讨了将数据仓库技术和数据挖掘思想应用于卷烟企业生产现场,将生产现场的数据进行抽取、清洗和转换,建立起企业级的数据仓库,对卷烟生产现场的数据进行分析处理,从而设计开发了一套卷烟生产现场数据展示分析系统。
将数据挖掘思想应用于烟草企业主要的要点有三个:
一是对卷烟生产现场各种数据的提取分析,这是应用数据挖掘技术的基础工作;二是数据分析展示系统的架构设计和功能设计,这是数据挖掘技术应用的核心部分;三是数据展示方式是否准确、清晰、调理,这是数据挖掘的优势能否体现的关键。
本文依托Kettle软件对卷烟生产现场的数据进行抽取、分析、转换,形成统一形式的数据源,然后利用数据挖掘软件Cognos对系统的架构和功能模块进行开发设计。
最后,根据数据挖掘可视化技术的原理,完成数据展示功能。
卷烟生产现场数据展示系统的成功开发对于烟草企业乃至制造业的信息化有很大的推动作用,也对数据挖掘技术更高层次的应用有很好的借鉴意义。
以数据仓库理论为基础对生产现场整合的数据进行统计和分析,通过信息系统将管理决策层和车间生产层连缀起来,形成数字化的管理方式,向业务用户提供综合的、多维的数据统计分析和展示对数据模型进行关联、整合,从而把数据转换信息,信息转为知识,实现生产过程监管精细化,大大提高了企业管理的整体水平。
关键词:
数据挖掘应用烟草生产信息化
Abstract
Withtheresearchoftheorydeepening,itismoreandmorecommonfordataminingtoapplyinvariousindustries,andthemanufacturingindustryhasgraduallybeeninthestageoftheintelligenceanddataanalysis.Althoughmostofthedomesticmanufacturingindustryremainstheunderlyingdatabaseandcontentmanagementphase,somecompanieshavebeguntOintegratevariousdatathroughdata
warehousinganddataanalysis,whichlaidasolidfoundationtoachieveahigherlevel
ofdataanalysis.Thisarticleisusedtoapplythetheoryofdataminingtothecigarettebusinesstoanalyzeandprocessallthedataoncigaretteproductionsite.Basedondataanalysissoftware-一Kettleandminingsoftware—Cognos,acigaretteproductionsitedatadisplayandanalysissystemisdeveloped.
Therearethreemainpointswhenthetheoryofdataminingisusedintobaccocompanies:
Firstly,extractandanalyzeavarietyofdataonthecigaretteproductionsite,whichisthebasicworkofapplyingthetheoryofdatamillingonthecigarette
productionsite;Secondly,themostimportantpartisarchitecturedesignandfunctionaldesignofthedataanalysisanddisplaysystem,whichisthecoreofdataminingtechnology;Thirdly,thedatadisplaymodeisaccurate,clear,reasonable,whichisthekeytoreflecttheadvantageoftheapplicationofdatamining.
Thisarticleisbasedonthedataanalysissoftware--Kettletoextract,analyze,convert
thedataonthecigaretteproductionsiteandformthedataSOurCe、Ⅳitllaunifiedform.AndthenusedataminingsoftwareCongnos8todesignanddevelopthestructureandfunctionmodulesofthesystem.Finally,accordingtoprinciplesofvisualizationtechnologyofdatamining,completethedatadisplayfunction.
Thesuccessfuldevelopmentofthecigaretteproductionsitedatadisplaysystemnot
onlyplaysagreatroleinpromotingthedegreeofdataofthetobaccoindustryandeventhemanufacturingindustry,butalsohasagoodreferenceforahigherapplicationslevelofdata戚Ilil增technology.Analyzetheintegrateddatafromproductionsite,basedonthetheoryofthedatawarehousecountandlinkthemanagementwithproductionworkshopstoformthedigitalmanagementmode,which
T1
Abstract
offerstobusinessuserswithcomprehensive,multidimensionaldataanalysis,displayofassociateddatamodel,andintegration.Dataminingtechnologycouldconvertthedataintodatathenintoknowledge,andrealizetherefmernentofmonitoringprocess,finalyimprovetheoveralllevelofenterprisemanagement.
Keywords:
datamining,application,tobaccoproduction,information
III
第1章绪论
第1章绪论
本章对课题的研究背景、目的、意义及目前国内外研究和应用的现状进行了阐述,并对主要的研究内容和论文的主要结构进行了说明。
1.1课题背景、来源及意义
MES是制造执行系统的简称,英文全称为manufacturingexecutionsystem。
这个概念诞生于1990年,由美国先进制造中心提出。
MES的主要功能是对企业的整个生产流程进行全面的优化,利用信息化的手段对企业的生产情况和管理过程进行实时监控,并以此做出改进措施。
MES一个最大的特点就是能够对企业发生的事件能做出迅速准确的反应,还可以用所获得的有关事件数据信息对事件进行分析并做出处理意见。
MES的这种对于事件的快速反应能力既能够减少企业在各个环节的不必要的消耗,使企业的生产运作过程更加流畅,又能提高企业管理能力。
MES与企业事件现场之间是通过双向的信息系统来连缀起来的,MES系统的主要任务是整个生产链中提供关键生产和产品信息,便于企业决策者进行分析。
换言之,MES其实是建立于企业的管理层与基层的各个生产车间之间的信息分析管理系统。
MES的作用类似于一个工作情况的展示平台,它可以向决策人员展示企业生产情况、销售情况、资源消耗的情况、设备运行情况等,因此MES能给企业的决策者提供很重要的参考依据【l】。
从另一个角度来看,MES系统对于企业的信息化有重要的推动作用。
MES是企业现代制造系统信息集成的重要技术依托,对于企业而言,建立一个面向生产的实时信息管理系统是企业信息化的重要步骤。
MES适用性很强,它可以用于不同行业,能够对多品种、批量生产制造型企业提供良好的企业信息管理技术和决策参考依据【l】。
在卷烟企业中,MES可以为企业生产管理者提供一个快速反应、高柔性、精细化、比较准确的烟草生产情况检查监督平台,帮助烟草企业降低成本、提高效率、优化资源、提高产品的质量和提高服务质量。
因此对于烟草行业来说,MES是技术进步的重要推动力量。
第1章绪论
在国外企业中,MES系统的应用已经比较普遍和成熟。
MES的应用在发达国家已实现了产业化,其应用几乎覆盖了全部制造领域,给企业带来了巨大的经济效益以及管理模式的改进。
总体来说,与发达国家相比,我国无论是在MES技术应用的深度与应用的广度上都存在较大差距【l捌,但是许多大学和科研单位以及政府技术主管部门都开始注意到MES技术对于中国企业的潜在推动作用,对MES的研究正在逐渐升温。
国内的企业也开始注意采用MES技术来增强自身的核心竞争力,加快企业的信息化进程。
随着研究和应用的深入,国内的MES也取得一定的进步。
经过几年的积累,国内大部分中大型的企事业单位已经建立了比较完善的企业资源计划、办公自动化、客户关系管理等基础信息化系统,以此来改善部门内信息数据的管理,提高工作人员的工作效率和改善工作环境。
这些企业面临的主要问题是,对这些系统主要的操作还是通过业务人员的人工操作完成对数据库进行的增删、修改等工作。
在面对越来越激烈的市场竞争时,这样依靠人力的工作模式远远无法满足以后企业信息化发展的需求。
因此,提高企业管理的信息化程度变得越发重要,企业只有在信息化的基础上作出科学、正确的决策,才能获得进一步的发展。
只有靠充分利用、全面发掘企业在生产经营中现有的数据信息,才能实现企业生产过程的优化和获得更大的效益。
数据信息成为企业发展不可或缺的重要资源,但是在信息技术不断发展的今天,信息的种类和数量都成指数形式增加,使用方式也越来越复杂。
决策者急需新的技术来对海量数据进行各种分析以支持决策。
在这种形式下,基于数据挖掘思想对数据处理的优势,其在实际应用中就越来越多。
经过近几年的发展,国内的企业已经开始注意到数据挖掘的重要作用,国内的企业虽然大部分还停留在低层次的数据库管理阶段,但也已经有企业开始通过数据仓库整合企业内部不同业务系统中的数据。
随着基于互联网的各种信息系统在企业中的应用,企业将收集越来越多的包括生产、产品、销售以及客户情况在内的各种信息,这些信息能帮助企业更好地决策和制定发展战略【2卅,而数据挖掘将成为企业数据管理的关键技术。
数据挖掘可以将分散存在的大量数据转化为信息,使得管理人员能够充分掌握、利用这些信息,用于辅助决策【2卅。
这一点成为数据挖掘为企业信息化服务的最大的优势。
2
第1章绪论
由于市场环境的不断变化,一个企业能否正常运营,关键是企业管理人员能否在最短的时间内掌握企业生产情况的变化,做出准确的判断和快速的应对措施。
ERP和现场自动化系统已经发展到了非常好的程度,但是由于ERP系统的服务对象是企业管理的上层,一般对生产层的管理流程不提供直接的支持,而现场自动化系统又主要面向生产车间。
所以,企业管理系统和生产现场之间出现了管理上的盲区,对于车间层面的调度和管理需求,ERP无法达到让企业满意的程度ll】。
因此数据挖掘的优越性在这时就可以显现出来,它可以把企业的管理层和基础车间层有机的联系到一起,成为两者之间产生关联的纽带。
目前济南卷烟厂的信息化建设,一方面,随着“十五”后期易地技术改造项目的实施完成,已实现了制丝、卷接包等卷烟生产的集成自动化作业,实现了生产原辅料自动化出入库及动力能源的精确化供应,在“生产设备自动化’’层面基本实现了数字化工厂的战略目标。
另一方面,随着ERP系统、制丝管控系统、卷包数采系统、物料自动化管理系统、能源动力管控系统,特别是MES在济南卷烟厂的陆续成功实施和应用,在“业务执行集成化"方面基本实现了数字化工厂建设的战略目标。
但现有的信息系统主要侧重于生产流程、执行、操作以及业务活动结果方面的功能,对生产多个环节的协调监管、统计对比、问题分析、事件报警等功能方面提供的信息化支撑和数据挖掘还不够全面。
卷烟生产现场在基于信息化的前提下进行数据挖掘、数据分析和数据展示,主要应用于车间生产管理和调度执行。
一个设计良好的信息集成系统可以在统一平台上完成诸如生产调度、产品跟踪、质量控制、设备故障分析、网络报表等功能的管理,使用统一的数据库和通过网络联接可以同时为各个部门提供车间管理信息服务,以此实现卷烟生产现场数据的条理化和信息化。
1.2数据挖掘国内外研究现状
KDD这个术语首先诞生于1989年8月在美国底特律召开的第11届国际人工智能会议上,随后引起了人工智能和数据库等相关领域专家的广泛关注【2卅。
1993年KnowledgeandDataEngineering率先出版了数据挖掘专刊,这成为数据
挖掘系统研究的学术发端。
1995年首届KDD&DataMining国际学术会议在加
拿大蒙特利尔召开,由此定期的学术会议逐渐增多。
从1997年开始,数据挖掘杂志KnowledgeDiscoveryandDataMining正式发行,有关数据挖掘的学术研究3
第1章绪论
逐渐形成完整的研究机制。
经过多年的努力,数据挖掘技术的研究已经取得了非常多的成果,数据挖掘软件产品陆续被推出,并在西方国家得到应用。
主要的数据挖掘软件代表如,AngossSoftware开发的KnowledgeSeeker,此软件基于决策树原理;IBM公司开发的IntelligentMiner;AdvancedS01.areApplication开发的的DBProfile;加拿大SimonFraser大学开发的DBMinner;SGI公司开发的MineSet等。
2007年11月,IBM提出了企业构建信息管理系统的三层架构思想:
底层是数据库;中间一层是数据仓库;上层是数据分析【1捌。
在我国,数据挖掘技术的研究也引起了学术界的高度重视,已成为信息科学界的热点研究课题。
例如:
冯萍,宣慧玉等【6】研究了如何将数据挖掘技术应用于在营销中;高博,刘晓乐等【8】研究了模糊聚类在客户关系管理中的应用;杨波,陈宁,郁云掣17J做了关于面向分类信息网站数据挖掘算法的研究;余辉,吕扬生等ll3】做了数据挖掘技术在生物医学领域的应用方面的探索。
数据挖掘基础理论研究已经成为我国学术界的一个热点,对于数据挖掘技术的研究也逐渐深入,应用领域越来越广。
1.3数据挖掘应用的情况
1.数据挖掘在网络及相关领域的应用【№lsl。
数据挖掘在网络方面的应用发展最突出。
数据挖掘技术在文本、视频、音频等方面的应用不断成熟,处理复杂数据的能力不断增强。
数据挖掘技术被广泛的应用到娱乐业的各个具体行业。
在政府行政信息化、反垃圾邮件、医疗行业信息化的过程中,数据挖掘技术应用也逐步深入。
当然,数据挖掘所面对的数据也由原来的相对单纯变得更为复杂。
2.数据挖掘在基础行业的应用【11—151。
数据挖掘主要应用于教学、物流、银行、保险等领域,由这几年的发展趋势来看,数据挖掘在企业管理方面的应用逐渐加强。
数据挖掘在医药、生物等科研机构中的应用也越来越普遍。
3.数据挖掘在人文科学领域的应用【l9】。
尽管数据挖掘是基于统计分析的自然科学范畴的技术,但是数据挖掘被越来越多的应用到自然科学和人文社会科学层面的事务处理与决策中。
数据挖掘也被应用到与人类性格、心理相关的人力资源管理、客户关系管理等领域。
4
第l章绪论
对于烟草行业而言,数据挖掘技术越来越多的应用于企业的生产和管理过程中,但是对于卷烟生产现场的一体化信息管理来说,数据挖掘的应用还是需要进一步加强。
数据挖掘对于卷烟生产现场的信息整合实现企业生产信息化有着非常重要的作用。
1.4本文研究的主要内容
基于济南卷烟厂MES系统、制丝管控系统、卷包数采系统、物料自动化管理系统、能源动力管控系统,利用数据挖掘技术和工具对卷烟企业生产现场的数据进行分析、提取和整合,开发出一套生产现场数据展示分析系统,对卷烟生产现场包括生产、工艺、质量、设备、生产资源、动力能源、仓储物流、生产事件报警等信息的数据挖掘和分析研究,从而提高卷烟企业的信息化程度,简化了企业生产的日常管理,使企业生产工作更加条理化,促进济南卷烟厂在“生产过程监管精细化"方面实现数字化工厂建设的战略目标。
卷烟生产现场数据展示分析系统的开发主要包括数据提取、数据分析整合及数据展示三部分。
数据提取:
卷烟生产现场数据提取是通过软件系统对生产现场的数据进行分析和提取,采用的是开源ETL软件kettle,对数据进行的抽取、清晰和加载,建立起企业级的数据仓库。
数据分析:
通过开发信息软件系统对数据进行分析。
从生产消耗和生产质量两条线,分别跟踪不同批次成品烟从烟叶到辅料的消耗情况以及从制丝流程到卷包流程的工艺参数质检情况。
从生产消耗角度,实现可从由成品烟追溯到其辅料消耗和原料消耗情况;从生产质量角度,实现可从成品烟追溯到其在卷包工艺和制丝工艺流程中的质检情况。
数据展示:
用柱状图,饼状图等形式来展示与生产息息相关的数据的综合和分析,部门主要业务人员和领导可通过选择不同的维度展示来获取想要的信息从而来把控本部门和全厂的生产进度执行情况以及各种耗用和库存情况。
展示各系列成品烟的产量及月,年生产进度,展示各主要指标的单耗情况,通过曲线展示本月日产量曲线,并可通过点击链接查看本月各系列累计产量情况。
5
第1章绪论
1.5论文的主要结构
第1章介绍了本课题的背景和意义、数据挖掘的国内外研究现状和数据挖掘在各行业的应用情况、以及本文的主要研究内容。
第2章系统介绍了数据挖掘的基本概念、分类、主要数据挖掘技术和工具,和数据抽取方面的原理、方法。
第3章详细说明了卷烟生产现场的需求分析,以及数据提取过程,形成卷烟生产的数据仓库。
第4章详细说明在卷烟生产现场,生产数据展示分析系统的核心架构和系统功能模块的设计与开发过程。
第5章针对卷烟生产现场的六大需求分别说明数据展示的方法和具体实现。
第6章是对本课题的总结,总结数据挖掘在卷烟生产现场数据展示分析系统中的作用,数据挖掘对烟草行业的重要作用,以及数据挖掘在烟草行业应用
过程中的不足。
6
第2章数据挖掘技术与工具
第2章数据挖掘技术与工具
随着国内外对数据挖掘技术的研究和应用不断深入,数据挖掘的思想逐渐为各行各业的中高层管理人员所接收,本章对数据挖掘的基本概念、分类、主要数据挖掘技术及工具和数据抽取的原理、方法进行了探讨,为本论文的研究做好了理论基础准备。
2.1数据挖掘概述
2.1.1数据挖掘数据挖掘,又可以表述为从数据库中挖掘所需的信息和知识,进行提取成
为新的、调理的知识框架。
数据挖掘中最重要的一步就是进行有用知识的提取,
并形成新的知识,整个提取和分析的过程都体现着人工智能的特点。
在研究数据挖掘过程中,需要把信息检索和数据挖掘区别开来,因为信息检索虽然也涉及复杂的算法和数据结构,但是数据检索技术仅仅依靠计算机技术和数据技术本身来创建和索引,从而有效地组织和检索信息,因此信息检索技术的重点是检索,而不是发现。
而数据挖掘是基于原有信息资源进行的再创造而不是简单的信息检索,当然也可以认为数据挖掘是基于知识检索基础上的数据发现和新知识的再创造,这是信息检索与数据挖掘主要的区别【221。
因此通过分析可知,数据挖掘技术也应用了信息检索的特征来增强系统本身信息检索的能力。
数据挖掘的内容可以概略为三部分:
1)数据抽取或者数据提取;2)数据分析;3)数据展示。
数据挖掘过程中需要用到一些自然科学以及交叉学科之间的知识,比如数学优化、人工智能等学科知识。
因此,数据挖掘是一个交叉科学领领域的研究,受多个学科影响【1睨11。
数据挖掘利用了来自如下一些领域的思想【2眦3】:
(1)统计学思想:
应用了统计学的抽样、估计和假设检验知识;
(2)人工智能思想:
数据挖掘主要的依据就是人工智能、模式识别和机器
学习和学习理论。
(3)可视化思想:
将数据分析整合之后,以各种可视化的手段展示出来。
7
第2章数据挖掘技术与工具
(4)优化思想:
数据挖掘有助于提高对信息处理的效率,对数据进行优化
处理。
(5)信息检索思想。
给数据库系统提供有效的存储、索引和查询功能。
2.1.2数据挖掘的关联规则
在卷烟生产现场,数据大都是离散的,而关联规则的挖掘是建立数据仓库的的基础工作,关联规则挖掘通常适用于所要处理的数据取离散值的情况。
而且,如果原数据库中的指标是连续的数据,则在关联规则挖掘之前应该进行适当的数据离散化。
数据挖掘前的重要步骤之一就是数据的离散化,而且关联规则的挖掘结果受到数据离散化合理程度的直接影响[15,221。
1.Apriori算法:
这种方法基于频集思想提出,是一种使用候选项集找频繁项集的算法。
Apriori算法的基本过程如下:
(1)预定义最小支持度。
(2)产生强关联规则。
该规则要求数据必须满足最小支持度和最小可信度
的共同要求。
(3)定义中规则模型。
使用所找到的频集来产生所要求的规则。
只有大于最小可信度才被保留。
在整个生成过程中,递推方法是生成频集的主要形式。
2.基于划分的算法:
’
(1)把数据库从逻辑上分成几个块,块与块之间互不相交,每次只分析其中一个块,并以这个块为基础生成所有与之相关的频集;
(2)把生成的频集再合并,并生成新频集所有可能的频集;(3)计算支持度。
该算
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 卷烟 生产 现场 数据 展示 研究 系统 设计 实现