1、工业互联网大数据平台建设方案,为什么有工业4.0？,工业4.0、中国制造2025,工信部长苗圩在讲到德国工业4.0与中国制造2025时，曾这样概括：如出一辙、异曲同工、殊途同归。因此，两者表述不同，但内涵基本一致,什么是大数据？,工业大数据分析及应用的三个阶段,大数据特征：量（Volume）、速度（Velocity）、多样性（Variety）、真实性（Veracity）工业大数据特征：大数据特征可见性（Visibility）、价值（Value）,互联网大数据与工业大数据的对比分析,工业大数据待解决问题（3B）：隐匿性（Below Surface）；碎片化（Broken）；低质性（Bad Qua
2、lity）,工业大数据应用,工业大数据的核心是机器数据,机器大数据的特点,工业互联网和大数据的关系,+,=,企业发展动力,工业互联网与大数据的作用,工业互联网与大数据的特点,大数据对企业的应用价值体现,挖掘工业大数据价值的核心技术CPS,分析手段,工艺、效率和产能,商业模式内核,数据和知识建模,智能设备,平台基础,测量,材料,设备维护,6M,6C,CPS定义:从实体空间的对象、环境、活动中进行大数据的采集、储存、建模、分析、挖掘、评估、预测、优化、协同，并与对象的设计、测试和运行性能表征相结合，产生与实体空间深度融合、实时交互、互相耦合、互相更新的网络空间；进而，通过自感知、自记忆、自认知、自
3、决策、自重构和智能支持促进工业资产的全面智能化.,工业大数据云平台实现路径,大数据处理的需求和特点,工业大数据云平台建设终极目标,IaaS：提供基本的计算、网络和存储资源。PaaS：中间层，提供对行业业务应用的支持。SaaS：向用户交付最终业务应用和数据分析。PaaS环境层：为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数据处理。PaaS业务层：包含了应用的后台程序，数据处理算法以及业务数据等实现业务能力的元素。PaaS服务层：将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。,云平台总体架构,22,云平台总体架构介绍,工业大数据平台-数据业
4、务逻辑,准实时采集,批量采集,Hadoop平台,MPP，基于X86平台,主数据仓库,分布式数据库,基于X86平台,数据采集（云化ETL，流数据处理、爬虫）,数据层,获取层,能力层,精细化营销,智能运营,物联网应用,应用商店,客服应用,基础分析能力,数据挖掘能力,实时分析能力,自助分析能力,多维分析能力,数据共享能力,指标应用,报表应用,主题分析,专题分析,互联网,GN口,半结构化、非结构化数据,BSS,经分,DM,VAC,MC话单,业务平台,结构化数据,数据源,分布式文件系统 HDFS,记录明细数据,HBase,M/R,Hive,记录汇总数据,数据统一服务和开放SQL、FTP、WS、MDX、A
5、PI、,分布式数据库（MPP）：存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据。主数据仓库（与MPP合设）：存储指标数据、KPI数据和高度汇总数据。,Hadoop云平台：负责存储海量的流量话单数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。,数据开放接口：向大数据应用方提供大数据平台的能力。,数据采集（ETL）：负责源数据的采集、清洗、转换和加载包括：1、把原始数据加载到Hadoop平台。2、把加工后的数据加载分布式数据库和主数据仓库,应用层,大数据平台目标架构及定位,数据分级存
6、储原则,数据融合与分级存储实施,按数据血缘,按逻辑层次,按业务种类,按设备网络划分,按设备物理地址,在线、近线、离线,按访问频度,内存数据库,按响应及时性,内存数据库,数据生命周期中在线数据对高性能存储的需求，以及随着数据生命周期的变更，逐渐向一般性能存储的迁移，是分级存储管理的一条主线。同时兼顾考虑其他分级原则，共同作用影响数据迁移机制。,基于生命周期,基于访问压力,基于业务用途,基于物理属性,分级原则,高性能磁盘库,磁带光盘库,中低性能磁盘库,将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核心模型中，减少数据冗余，提升数据质量。将主数据仓库中的历史数据和清单数据迁移到低成本分
7、布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。,数据,数据,数据,1、核心模型融入主数据仓库,主数据仓库,2、历史数据迁移到分布式数据库,分布式数据库,大数据平台：数据分级存储,工业大数据平台-技术架构,源数据导入ETL，进行数据的清洗、转换和入库。,基础数据加载到主数据仓库，规划保存3年,清洗、转换后的ODS加载到分布式数据库规划保存1+1月，在分布式数据库内完成明细数据和轻度汇总数据加工生成，规划保存2年,ODS数据和非结构化数据，如爬到的网页数据ftp到Hadoop平台做长久保存,非结化数据分析处理在Hadoop平台完成，产生的结果加载到分布式数据库,生成KPI和高度汇总
8、数据加载到主数据仓库。,Hadoop平台,主数据仓库,报表数据,标签库,客户统一视图,信息子层,话单数据,非结构化数据,明细数据层（DW）,轻度汇总层（MK）,高度汇总层（MK）,应用库,分布式数据库MPP,数据访问,SQL,FTP,HSQL,API,ETL,数据采集ETL,互联网,GN口,非结构化数据,BSS,经分,DM,VAC,MC话单,业务平台,结构化数据,数据源,获取层,1,2,3,4,6,5,业务应用通过数据访问接口获取所需求数据。,7,精细化营销,其他应用1,其他应用2,指标数据,大数据平台：数据处理流程,数据采集-设备数据,数据采集-实时数据接入处理,数据采集-批量数据接入处理,
9、基于spark和hadoop的计算模型，同时支持批处理、交互式处理、流处理。,技术架构解决方案,批处理应用（分钟级别小时级别）,OLTP/在线事务处理应用（毫秒秒级别）,OLAP/在线交互式分析应用（秒级别）,实时流处理（持续不断）,技术架构解决方案,通常的时间跨度在数十秒到数分钟之间按数据维度进行统计、聚合根据历史数据进行拟合和预测计算数据之间的相关性和模式等适合提供高速在线分析服典型应用场景政府各部门数据证券交易银行保险企业ERP/CRM等适用于数据量在GB到TB的高速数据分析,通常的时间跨度在数百毫秒到数秒之间数据来源多、高并发、数据处理量达分析结果快速响应典型应用场景 社交网络分析、关
10、联关系分析用户分类、用户行为预测高并发查询按主键毫秒级检索按多维度秒级检索按照关键字秒级检索,交互式查询,实时在线处理,HDFS：分布式文件系统有较强的容错性可在x86平台上运行，减少总体成本可扩展，能构建大规模的应用HBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全列式存储，节省存储空间提供大数据量的高速读写操作Hive：分布式关系型数据库数据可保存在HDFS，可提供海量的数据存储类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理通过MapReduce实现大规划并行计算MapReduce：大规划并行计算引擎可将任务分布并行运行在一个集群服务器中,Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源，Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据和计算的高可靠保证。,大数据平台：Hadoop主要功能,HBase,MapReduce,Hive,HDFS,快速的数据读取,大数据存储统计,复杂计算并行处理,技术基础研究方向,-技术基础研究方向,大数据平台应用-资产管理服务,大数据平台应用-数据管理与服务,大数据平台应用-数据分析服务,大数据平台应用-数据安全服务,大数据平台应用-数据展示,
