1、智能交通大数据及云应用解决方案智能交通大数据及云应用平台解决方案随着日益增长的交通“大数据” ，给交通管理创新带来的新挑战，以及对交通管理工作提出的新要求， 交通信息化建设必然步入云计算智慧应用阶段， 利用云计算破解当前诸多交通瓶颈问题。精品文档，超值下载什么是交通大数据交通概念很大，所涉及的范围很广，如城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远洋及内河航道船舶数据、物流车辆及货物数据、 公交车实时数据、 出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、 违法信息等都属于交通数据。 我
2、们通常所提的城市公安交通管理大数据是指在城市智能交通建设和运营的过程中，从视频监控、卡口电警、 路况信息、管控信息、营运信息、 GPS定位信息、 RFID 识别信息等每天产生的大量数据，并借助信息化手段将这些相互关联的数据整合到一起（比如车辆信息、地图信息、人员信息、违规违章记录信息等等），形成一个有价值数据链，从而知道城市交通信息化建设，为公安交通实战应用服务，为市民出行服务。什么是云分析云分析系统具备超高的计算性能， 单机设备每天处理的信息量最大高达 2000 万张图片。云分析具备对卡口、 电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能，主要包括识别图像中车辆的品牌、型号、年款
3、、车身颜色、类别、异常特征（如遮挡面部、遮挡号牌）、唯一性局部特征（如年检标志、车内饰物）等关键信息。可对提交的图像中的车辆车牌颜色及车牌号进行二次识别，通过大数据进行，时间、地理、轨迹等的对比识别，以得出分析结果。过去几年，智能交通系统建设取得了长足的进步与发展， 针对道路交通违法、交通安全等，不断在不同的时间，不同的阶段建立了交通卡口、违法检测、道路智慧监控、交通事件监测等信息化系统， 但这些信息化系统所采用的设备、 平台均来自于不同的厂家，采用的标准， 上下级不能很好的实现级联， 与公安系统融合度不高，无法进行集中管理，资源共享，发挥统一的实战作用。1不同时期，不同阶段建设的信息化系统，
4、技术路线，功能性能指标各异，在套牌、摘牌、故意遮挡号牌等涉车案件中，不能找到行之有效的手段处理。现阶段，交通违法行为导致的交通安全、道路交通事故问题依然突出，交通违法管理的颗粒度也越来越细， 道路交通安全法也不断的修正以满足交通管理工作的需要。其中，不系安全带、开车打电话等违法行为纳入了处罚范围，而过去建设的卡口系统绝大多数不具备这些功能，不能很好的服务公安交通管理需要。云分析系统的出现， 问题将迎刃而解。 云分析系统创新型引入 GPU+CPU的设计理念，单台设备每天最高处理性能达到 2000 万张图片，提取车牌号、车身颜色、车标、子品牌、车型、车脸等交警实战所需的结构化信息，并能够自动甄别不
5、系安全带、 打电话等违法行为， 为公安交通管理提供全新的技术手段和业务体验。系统设计系统中采用的设计方法和技术路线在实战应用技术中处于领先地位， 软件的设计先进灵活， 便于升级以及与其它系统的互联互通。 系统涵盖了目前实战应用所涉及的一系列技术，如：图像预处理、信息筛查、电子地图轨迹分析等，在此基础上融合了车型建模、车牌识别、车标识别、运动目标检测和行为分析、图片检索等智能视频图像分析技术，创新性的实现了“车脸识别”、 “不系安全带检测”等功能，创造性的使用云分析实现超大数据量的图片二次识别， 为用户提供超高性价比的解决方案。系统设计时， 对需要实现的功能进行合理的配置， 且配置具有良好的兼容
6、性和扩展性；通过提供二次开发接口， 支持用户利用本系统自主开发新功能， 满足业务需求。系统具有开放性的标准体系， 后端基于开放式的 TCP/IP 网络系统进行设计，支持多种网络协议，便于和各系统间的互联、互通、互控，遵循规范的通用接口标准，使系统对硬件环境、通信环境、软件环境、操作系统之间的相互制约和影响减至最小。具有良好的人机交互界面， 尽可能避免出现繁琐操作实现某项具体业务应用的情形。系统在体系设计及工程实施中应根据用户使用需求充分考虑性能优化，在合理时间范围内， 尽可能缩短系统的操作响应时间； 系统维护也应在合理范围内尽可能简化，使操作人员能快速地学习和掌握系统操作。2系统涵盖了目前交通
7、管理业务应用所涉及的一系列技术，如：图像接入、通用解码、转码、图片索引、车型建模、图像预处理、信息筛查、电子地图轨迹分析、套牌分析等。基于云分析的二次识别方案配合大数据的高效查询、检索、研判方案，构筑了智能交通综合管控平台的数据底层支持优秀架构， 为交警实战业务应用提供了极佳的用户体验。1.1 系统架构用利旧和集成户层公安局交警总队交通支队交通大队政府相关部门社会公众信息发布与展指挥中心监室外交通交通广播交通电服务接处警平面媒体现层手机应用系统控大屏诱导屏电视台视台网站信息发布信息服务业务业务应用应用层交通状况监测日常组织与管控交通区域信息控制应急指挥与协作车辆信息研判与违法管理分析系统现有应
8、用系统数据服务数据服务数据资源管理与整合中心信息支撑层关系数据库分布式文件系统基础数业务数交换数监控交通实时交据库据库据库视频图像通数据数据存储数据模型数据分析数据加工数据清洗数据预测现有基础运数据优化数据共享数据服务行环境体系虚拟化 大数据技术 并行计算 二次识别 云管理平台 网络系统 配套工程信息采集 信息采集感知事件电警122 接信号GPS 车层微波视频地磁视频检测检测检测监控检测卡口处警机载终端系统的使用者通常为指挥中心调度人员、 指挥中心带班领导、 支/ 总/ 大队的主管领导、交通秩序管理人员、大队分控中心人员、路面执勤民警等。系统维护的职责则由运维工程师和系统管理员完成。主要的关键
9、业务应用包括交通状况监测、 日常组织与管控、应急指挥与协作、信息研判分析等方面， 主要是应对城市交通管理的现状实时监视、 日常业务处置、突发事件应对、交通数据挖掘研判等业务需求。3辅助核心业务的是一系列的支撑应用， 包括基础数据管理（路网信息、设备设施信息） 、警力资源管理 （警员信息、警车信息、装备信息）、电子地图管理、系统配置管理。在应用层下面是支持业务应用的支撑层，在这层完成对信息的采集、汇聚、加工、存储、交换等处理操作， 同时支撑层还内包消息服务器、 GIS 地图中间件、视频服务、诱导服务等信令及数据的服务或中间件。最下端为数据感知层， 包括业务子系统及设备， 为各类交通信息的原始数据
10、来源，如 GPS车辆轨迹信息、视频信息、通行车辆信息、交通流信息、施工占道信息、交通管制信息、气象信息等。视频大数据技术平台视频大数据技术平台负责存储和提取处理视频、 图片等非结构化数据， 通过视频结构化技术，可挖掘出视频图像中的人、车、物、事件等结构化信息，进一步用于大数据的分析挖掘。同时， 视频大数据技术平台可提供视频摘要、 视频浓缩、视频质量诊断等智能分析服务，使上层应用提高视频处理的效率。通用大数据技术平台通用大数据技术平台提供基于 Hadoop和 Spark 的分布式存储、分布式计算等能力，负责整合并管理海量的结构化、半结构化、非结构化数据，具备高度的可扩展性，可将数千台的廉价服务器
11、组建成一套庞大的云存储系统、 一台超级计算机。基于 Spark 架构的内存运算，速度比传统的 Hadoop快 10100倍，适合交通行业对时间要求的流式计算需求。行业大数据能力平台能够针对海量数据进行快速检索、 快速统计分析， 同时能够进行深度的关联分析，挖掘出其中有价值的信息。 行业大数据能力平台以接口的方式为上层应用提供服务。大数据运维平台负责对整个大数据平台进行部署、配置、管理、监控，通过自动化安装的方式，方便用户架设大数据平台。同时，通过可视化界面，可以形象地获知整个平台的运行状况。随着业务的发展， 当平台需要升级或扩容时， 可方便的通过该工具进行调整。41.1.1 视频大数据技术平台
12、1、视频云存储视频云存储系统解决百 PB级视频基础数据视频数据的低成本、 高可靠存储，支持视频流数据的高并发 I/O 。监控平台 视频云分析系统 大数据分析系统前端.预览/ 回放视频数据智能数据视频/ 图片/ 下载数据下载下载流数据视频云存储系统存储资源池.管理节点存储节点 存储节点 存储节点.管理节点 管理节点视频云存储系统架构图2、视频云分析视频云分析平台则是通过整合用户现有的数据中心分析设备，对过车视频、过车图片等数据进行进一步分析， 其中中心分析设备采用分布式计算节点集群的方式，能够提供基于任务自动负载均衡的数据处理方式， 解决从海里视频图像数据中解析出来的视频结构化数据的需求。5视频
13、云分析方案架构图具体包括以下模块：特征提取模块特征提取模块负责对实时或历史视频图像中的结构化信息进行提取，包括人、车、物等特征信息。 提取出的信息存储于大数据系统中， 并作为 DataEngine 进一步分析的数据基础。行为分析模块行为分析模块负责对实时或历史视频图像中的行为信息进行分析， 分析结果可作为上层应用报警的依据， 同时行为信息作为结构化数据， 可存储于大数据系统中，并作为 DataEngine 进一步分析的数据基础。音频分析模块音频分析模块负责对音频进行分析， 识别异常音源， 分析结果可作为上层应用报警的依据。以图搜图模块以图搜图模块负责对大数据系统中的图片数据进行分析比对， 并按
14、相似度返回图片列表。以图搜图模块支持对人脸图片的搜索，支持对车辆图片的搜索。隐私保护模块6隐私保护模块负责对实时或历史视频图像中的人体影像进行模糊处理， 保护个人隐私。视频摘要模块视频摘要模块负责对实时或历史视频进行摘要处理， 提取出视频中有用的信息，合并到同一个背景中， 以此缩短视频播放时间。 视频摘要可有效缩短用户观看视频的时间，提高工作效率。视频浓缩模块视频浓缩模块负责对实时或历史视频进行浓缩处理， 视频中有事件出现时进行慢放，无事件时进行快放， 以此缩短视频播放时间。 视频浓缩可有效缩短用户观看视频的时间，提高工作效率。视频质量诊断模块视频质量诊断模块负责对实时视频流进行质量诊断， 以
15、巡检的方式对前端接入视频流进行分析，实时发现摄像机是否在线、画面是否正常等问题。视频图像增强复原模块视频图像增强复原模块负责对实时或历史视频图像进行增强复原， 对效果较差的视频、图像进行智能修复并增强处理。1.1.2 通用大数据技术平台通用大数据技术平台是大数据的存储和计算中心，具有分布式、统一存储、统一访问、 动态扩容的特点， 用于汇集视频、 图像、报警、卡口信息、位置信息、案事件等大数据，为数据的综合利用提供支撑。7系统技术架构图分布式文件系统 HDFS 2.0：运行在通用硬件上的可扩展高容错的分布式文件系统，已经成为海量数据存储的事实标准。 负责海量数据存储， 将数据分散存储在多台独立的
16、设备上， 系统采用可扩展的体系结构， 利用多台存储服务器分担存储负荷，利用元数据服务器定位存储信息， 它不但提高了系统的可靠性、 可用性和存取效率，还易于扩展。分布式资源管理 YARN：分布式资源管理框架，负责计算、存储资源的管理，用以提高分布式集群环境下的资源利用率，这些资源包括内存、 IO、网络、磁盘等。分布式计算 Map/Reduce：分布式计算框架，负责将一个需要非常巨大的计算能力才能解决的问题分成许多小的部分， 然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。分布式数据库 HBase：一个分布式的、按列存储的、多维表结构的实时分布式数据库，用于存储粗
17、粒度的结构化数据， 适合构建高并发低延时的在线数据服务系统。全文检索引擎 Solr ：一个基于 Lucene 构建的开源，分布式， RESTful 搜索引擎，设计用于云计算中，能够达到稳定、可靠、快速实时搜索。8内存计算 Spark ：下一代基于内存的 Map/Reduce 计算引擎，处理大数据像“光速”一样快，比 Hadoop Map/Reduce 快 10x 到 100x 倍。流计算 Stream：流计算，负责对流媒体数据的分析计算。分布式协作 Zookeeper：分布式协作系统，作为一个分布式锁及共享数据管理者，提供集群节点间的事物协调服务， 保证 HDFS、HBase、Spark、Ma
18、p/Reduce等分布式系统的安全可靠运行。Kafka ：分布式数据总线，负责数据的采集、整合、交互。Sqoop：SQL to Hadoop ， 一个数据抽取工具，用于从关系数据导入数据到Hadoop。1、分布式文件系统HDFS是分布式计算中数据存储管理的基础，具有高容错性、高可靠性、高可扩展性、高吞吐率等特点， 可以设计部署在低廉的硬件上， 为海量数据提供了不怕故障的存储，适合那些有着超大数据集的应用程序。2、分布式数据库HBase是一种构建在 HDFS之上的分布式、面向列的存储系统，它具有高可靠、高性能、面向列和可伸缩的特性。 HBase适合于存储大表数据（表的规模可以达到数百亿行以及数百
19、万列）， 并且对大表数据的读、写访问可以达到实时级别。3、分布式计算MapReduce是一种处理海量数据的并行编程模型和计算框架，用于对大规模数据集 ( 通常大于 1TB)的并行计算。 MapReduce的名字源于该模型中的两项核心操作： Map和 Reduce。Map将一个任务分解成为多个任务， Reduce将分解后多任务处理的结果汇总起来，得出最终的分析结果。4、分布式协作系统ZooKeeper是一个针对大型分布式系统的可靠协调系统， 主要提供两个功能：帮助系统避免单点故障， 建立可靠的应用程序； 提供分布式协作服务和维护配置信息。91.1.3 行业大数据平台行业大数据平台负责与通用大数据
20、平台进行对接， 负责对结构化数据 （过车数据、测速数据）进行分析计算，提供快速检索、分析、统计、挖掘等功能，并提供用户最终的操作界面。面向交通行业的大数据业务展示平台，即为XZX-TMS-9200智能交通综合管控平台。1.1.4 大数据管理平台大数据管理平台负责对整个大数据平台进行部署和管理， 结构示意图如下图所示，包括集群部署、集群管理、任务管理、服务管理、状态监控、用户管理、告警、日志等模块。大数据管理平台架构图101.2 数据流程设计枪机智能交通综合管控平台智能交通综合管控平台应用服务器 数据库服务器 应用服务器 数据库服务器接网入关服务器 管理服务器球机数据整合及接入 云分析 大数据
21、应用第三方平台前端及第三方资源前端新建及已建能够按照标准协议接入的设备通过智能交通综合管控平台交通接入服务器接入转发至云分析平台进行车辆建模和二次识别。 已经部署云存储模块的系统，云分析也能够直接从云存储中读取图片信息进行车辆建模和二次识别。已建的第三方平台， 提供符合要求的 SDK协议，智能交通综合管控平台进行数据整合后再转发至云分析平台进行车辆建模和二次识别。云分析通过智能交通综合管控平台提供的图片 URL信息加载图片，进行建模和二次识别，完成建模和二次识别后，将识别结果信息如车牌、车型、车辆品牌等信息提供给大数据平台。大数据平台读取二次识别的结果信息， 写入到 HDFS分布式文件存储系统
22、中；基于 HDFS分布式文件系统部署分布式数据库，用来承载数据的预统计表和二级索引表。在数据搜索层，部署基于 Solr 分词的全文检索搜索引擎，并通过MapReduce分布式计算框架提供高效数据分析速度。 Zookeeper 提供分布式文件系统之间的多进程协调服务。数据写入、检索、统计和研判应用，大数据平台提供统一的 webservice 接口，智能交通管控平台通过调用大数据平台接口进行处理应用。1.2.1 云分析数据处理流程云分析可以采用的工作模式主要包括主动工作模式和被动工作模式。 目前采用的是被动工作模式。主动工作模式的特点是中央强力控制， 即由中心管理服务下派任务到指定的计算节点，计算
23、节点没有发起任务申请的权利。 被动工作模式则相反， 由计算节11点主动向中心管理服务发起申请， 申请获得批准后获得执行任务， 然后开始任务执行，任务执行过程中与中心管理服务保持实时更新，确保任务能够正常完成。被动工作模式相比主动工作模式而言能够突出计算节点的优势， 管理单元越小，管理的难度也就越小。 如果按照主动工作模式， 由中心管理服务全部承担任务分派、任务调度等功能，负载、责任过大，容易造成单点失败。即便采用集群方式或者单点灾备模式， 依然没有真正解决负载过重、 任务调度节点易失败等情况。被动工作模式把任务申请职责交给了计算节点， 各个计算节点按照自己的实际情况决定是否发起任务申请， 这样
24、可以有效地避免计算节点出现计算资源使用率频繁切换、异常波动，同时，降低了中心管理服务的压力。任务调度方面，云分析通过接入第三方应用平台，实时获取执行任务信息，然后通过中心服务管理动态调度任务的方式达到高优先级任务优先执行的目的。对于计算节点来说，它申请获得任务没有优先级之分，一旦申请成功， 立即转入工作状态。同时， 由于云分析节点是分布式部署， 系统高并发执行的效果可以有效的提高分析执行效率、 优化网络带宽的流量压力， 使得整个监控系统的性能得到更大的提升。1.2.2 大数据数据处理流程大数据技术平台是大数据的存储和计算中心，具有分布式、统一存储、统一访问、动态扩容的特点，用于汇集视频、图像、
25、报警、卡口信息、位置信息、事件等大数据，为数据的综合利用提供支撑。1.3 交通大数据平台功能1.3.1 快速检索针对过车记录表及违法记录表有针对车牌的精确查询及模糊查询需求，如下：1、过车记录精确查询车牌结合过车时间 ( 开始时间 +截止时间 ) 、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色等其它筛选条件随意组合在海量过车记录数据中对车牌做精确查询并且要求在秒级内返回查询结果。2、过车记录模糊查询12车牌结合过车时间 ( 开始时间 +截止时间 ) 、根据选择卡口、车道、方向、车辆标识、颜色深浅、车辆类型、车速、车长、号牌段、车身颜色、车牌颜色
26、等其它筛选条件随意组合在海量过车记录数据中对车牌的前缀、 中间、后缀做模糊查询并且要求在秒级内返回查询结果。3、违法记录精确查询车牌结合过车时间、 车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中做精确查询并且要求在秒级内返回查询结果。4、违法记录模糊查询车牌结合过车时间、 车辆类型、车辆颜色、车牌类型、车牌颜色、违法行为、处理状态等其它筛选条件在海量违法过车记录数据中对车牌的前缀、 中间、后缀做模糊查询并且要求在秒级内返回查询结果。5、轨迹查询查询车辆在特定的时间段内的行车轨迹： 即在某个时间段内（根据场景，还可以设置车辆类型、颜色深浅、车牌类
27、型、车牌号码、车速、车长、号牌段、车身颜色、车牌颜色等限制条件），同时经过多个卡口（至少两个以上才能确定一条轨迹）的过车信息。6、快速统计针对过车记录表及违法记录表有如下统计需求：过车记录表车流量统计以卡口（或车辆类型、 车辆归属）为维度结合统计时间、 方向、车辆归属地、车辆类型、车牌类型等特定筛选条件对过车记录做统计， 生成相应日（或周、月、年）报表：即根据设定的维度，还有根据报表类型分割的时间粒度，统计各个时间区间内的车流量。过车记录表车流量对比同一个卡口不同时间段 （跨度在 1 天内）的车流量对比以及不同卡口同一时间段（跨度在 1 天内）的车流量对比。通过车流量对比能够对改善城市交通调度
28、提供依据。违法记录表车辆违法统计13选定一组卡口， 在选定的开始时间和结束时间内， 统计各卡口所有的过车记录数和违法记录数。过车记录表特定时间段车流量统计同车流量对比， 时间颗粒度变成一天， 并且可以选定一天中具体的若干个时间段。过车记录车辆行车轨迹统计根据选定统计方式（即统计维度：包括按车牌类型统计、车牌颜色统计），统计在选择的时间段内，经过指定轨迹 （所谓的轨迹： 即由多个卡口确定的一条行车路径，带方向，比如，从路径 A-B-C, 和路径 C-B-A 是俩条不同的轨迹）的车流量次数 （还包括其他的过滤条件， 如：车辆归属地、车辆类型、车牌类型、车牌颜色，同一车牌多次经过指定轨迹按多次计算）。1.3.2 研判分析1、过车记录表频度研判分析出在特定卡口上（一个或多个），在特定时间段内，过车次数满足一定条件的所有过车信息和过车数： 所谓的满足一定条件是指过车次数大于等于 （或小于等于或等于）（频度设置）一定数量（频度阈值），根
