1、 硕士专业学位论文 论文题目 基于视频结构化图侦系统的应用研究 研 究 生 姓 名 劳国芳 指导教师姓名 李云飞 专 业 名 称 计算机技术 研 究 方 向 图形图像处理 论文提交日期 2012 年 10 月 基于视频结构化图侦系统的应用研究 中文摘要 I 基于视频结构化图侦系统的应用研究 中文摘要 目前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，面对海量的视频信息、非结构化的数据形式和内容的多义性，在案发后人工调阅方式耗时耗力，大量视频未经梳理而流失，严重影响了监控系统的建设成效。目前在安全防范领域中，有效分析、组织和管理视频数据，研究基于内容的视频应用系统取代人工方式，已经成
2、为警务信息化应用的研究重点。本文分析研究了视频数据的规范化采集、结构化存储和全局性共享等问题，提出基于视频内容结构化分析技术，按照“一个证据中心，两个核心应用”方式来构建图侦系统的技术方案和应用模式。主要工作包括：（1）分析了当前公安图侦工作的困难和制约，研究了视频图像从采集、研判，到管理、应用的一体化工作模式，基于视频内容结构化分析技术，提出了“视频证据中心、视频图像取证、视频研判分析”为框架的网侦系统研发思路。（2）从警务一体化的角度，以视频采集、证据管理、研判应用为业务主线，研究了基于视频结构化图侦系统建设的总体技术方案、基本功能点，设计了系统研发的体系架构、逻辑架构、数据架构，以及与外
3、部系统之间的关系。（3）分析了视频结构化建库的主要任务和核心问题，从视频人、车、物基本要素入手，进行了视频证据中心的模型设计，包括证据中心的体系结构、视频对象结构化定义、对外数据交互视图，以及证据中心实体-关系图（ERD）。（4）从工作模式和核心应用出发，分析了图侦业务的主要角色和主要环节，设计了图侦工作的业务流程、关键业务交互顺序、摘要索引业务流程和基本功能点，整合运用视频结构化、视频摘要、视频索引等先进技术，进行了软件的设计和实现。使用结果表明，基于视频内容结构化开发的图侦系统，能够实现视频监控信息的全程筛选，防止有用信息的流失，再造了视频监控及研判应用的信息流及业务流，能够有效支撑了图侦
4、工作机制的转型发展。关键字：关键字：视频结构化；信息共享；图像侦查；应用系统 作作 者：者：劳国芳 指导教师：指导教师：李云飞 Abstract Applied research based on video structured surveillance system II Applied research based on video structured surveillance system Abstract Currently,the video surveillance system has become an important means of investigating,cr
5、ime prevention and crime control.However,it is hard to deal with the vast amounts of video information,the ambiguity of unstructured data.Access to time-consuming view the video,A large number of video will be skipped without be used.It will seriously affect the effectiveness of the surveillance sys
6、tem.It has become the focus in police information technology that effectively analyzes,organize and manage video data,the study of application system for video.This paper analyzes the question of the standardization of video data acquisition,structured storage and global sharing,Base on the structur
7、ed analysis techniques according to“an evidence center,two core applications”,build technical solutions and application mode.The main work includes:(1)Analyzed the difficulties and constraints of the current public security figure investigation work,studied integrated work mode of video images from
8、collecting,analyzing,management and application,structured analysis techniques based on video content,video evidence center,video image forensics and video judged analysis as a framework for network surveillance system research and development ideas.(2)From the perspective of policing integration,co
9、mbined with police actual video collection,evidence management,analyzing the application of business lines,researched the overall technical scheme based on video structured surveillance system,designed the relationship of the system R&D among the system architecture,the logical architecture,the data
10、 architecture,the basic functions,as well as with the external systems.(3)Analyzed the main task and core issue of video structured library building,starting from the basic elements of people,vehicles and objects in the video,designed the model of video evidence center,including the evidence base ar
11、chitecture,structured definition of video data,external data interactively,as well as the entity-relationship diagram of evidence center.Applied research based on video structured surveillance system Abstract III(4)From word mode and core applications,analyzed major role and main links of figure inv
12、estigation business,designed business process,order of business-critical interaction,summary index business process and basic function point of figure investigation work,integrated and used video structured,video summary,video indexing and other advanced technology,designed and realized the software
13、.The results of image investigation show that structured surveillance system can filter the video surveillance information to prevent the loss of useful information,recycling information flow and business flow.It will support develop the Image investigation.Keywords：Video structured，Information shar
14、ing，Image investigation，Application system Written by：Lao Guofang Supervised by：Li Yunfei 目 录 第一章 绪论.1 1.1.研究的背景和意义.1 1.2.项目研究的目的.4 1.3.国内外应用研究现状.5 1.3.1 国外应用研究现状.5 1.3.2 国内应用研究现状.6 1.4.主要工作.7 1.5.论文结构.8 第二章 基础技术概述.10 2.1.视频结构化理论综述.10 2.1.1 基于镜头的结构化分析.11 2.1.2 基于关键帧的结构化分析.12 2.1.3 基于场景聚类的结构化分析.12 2.
15、2.视频摘要技术综述.13 2.2.1 静态视频摘要形式.14 2.2.2 动态视频摘要形式.15 2.2.3 视频摘要的生成过程.15 2.3.视频检索技术综述.17 2.3.1 视频特征的提取.17 2.3.2 视频数据库技术.18 2.3.3 网络视频访问技术.19 2.4.视频处理技术应用综述.20 2.5.本章小结.20 第三章 总体技术方案设计.21 3.1.设计思路.21 3.2.体系架构.21 3.3.逻辑架构.22 3.4.数据架构.23 3.5.与外部系统之间关系.24 3.6.基本功能.25 3.7.本章小结.25 第四章 案事件视频证据管理中心设计.26 4.1.设计概
16、要.26 4.2.视频证据中心体系结构.26 4.3.视频情报结构化定义.28 4.3.1 数据字典定义.28 4.3.2 视频结构化信息表.32 4.3.3 证据中心数据建模.33 4.4.对外数据交互设计.33 4.4.1 对外数据交互关系.33 4.4.2 数据交互接口.34 4.5.主要功能.35 4.6.本章小结.35 第五章 视频图像侦查系统应用设计.36 5.1.设计概要.36 5.2.图侦业务流程设计.37 5.3.关键业务交互视图.39 5.4.与外部系统交互视图.40 5.5.摘要索引流程设计.41 5.6.视频图像取证单元设计.43 5.6.1 视频检测规则.43 5.6
17、.2 预警事件处理.43 5.6.3 视频图像采集.44 5.6.4 视频证据提取.45 5.6.5 证据信息标注.45 5.6.6 视频格式标准化.46 5.6.7 证据上传发布.47 5.7.视频研判分析单元设计.48 5.7.1 同步警综案件.49 5.7.2 视频特征分析.50 5.7.3 视频内容检索.51 5.7.4 案件地图轨迹.52 5.8.本章小结.52 第六章 规划部署与使用情况.53 6.1.总体规划.53 6.1.1 业务架构.53 6.1.2 网络架构.54 6.2.系统环境.55 6.2.1 软件环境.55 6.2.2 硬件环境.56 6.3.视频信息处理流程.57
18、 6.4.使用结果.58 6.5.本章小结.59 第七章 总结与展望.60 7.1.总结.60 7.2.展望.61 参考文献.62 攻读学位期间公开发表的论文及参与的科研项目.65 致 谢.66 图 例 图 1-1 传统视频监控图像信息的完整生命周期分析.2 图 1-2 基于内容的视频数据检索系统处理流程.7 图 2-1 视频内容的层次组织结构.10 图 3-1 基于视频结构化图侦系统的体系架构.22 图 3-2 基于视频结构化图侦系统的逻辑架构.23 图 3-3 基于视频结构化图侦系统的数据架构.24 图 3-4 图侦系统与外部系统的业务关系图.24 图 4-1 案事件视频证据中心体系架构.
19、27 图 4-3 视频证据中心实体-关系图示例.33 图 4-4 视频证据管理中心对外数据交互关系.34 图 5-1 视频图像侦查工作的业务流程图.39 图 5-2 图侦系统关键业务交互顺序图.40 图 5-3 图侦系统与外部系统交互顺序图.41 图 5-4 视频摘要索引业务处理流程.42 图 5-5 视频预警检测数据采集处理示例.44 图 5-6 在线视频采集流程.44 图 5-7 视频摘要处理示意图.45 图 5-8 视频格式标准化处理示意图.46 图 5-9 视频格式标准化软件实现算法.47 图 5-10 视频证据文件的上传顺序图.48 图 5-11 视频研判分析单元与警综案件同步示意图
20、.49 图 5-12 图侦系统与警综系统之间案件信息同步顺序图.49 图 5-13 视频证据中心人脸库比对示意图.50 图 5-14 视频特征分析的实现算法流程图.50 图 5-15 视频轨迹地图标注示意图.52 图 6-1 图侦系统实战应用的业务架构.53 图 6-2 图侦系统实战应用的网络架构.54 图 6-3 图侦系统应用后的视频图像信息的管理过程.57 表 格 表 3-1 基于视频结构化图侦系统的基本功能点.25 表 4-1 视频证据中心案件字典定义表.28 表 4-2 视频证据中心人物情报语义定义表.30 表 4-3 视频证据中心车辆情报语义定义表.31 表 4-4 视频证据中心物品
21、情报语义定义表.31 表 4-5 视频证据中心视频信息定义表.32 表 4-6 视频证据中心帧信息定义表.32 表 4-7 视频证据中心对象信息定义表.32 表 4-8 视频证据中心片段信息定义表.32 表 4-9 案事件视频证据管理中心的主要功能模块.35 表 5-1 基于视频结构化图侦系统的主要功能模块.37 基于视频结构化图侦系统的应用研究 第一章 绪论 1 第一章 绪论 1.1.研究的背景和意义 随着国家经济、社会的快速发展,人民群众的安全防范意识不断提高。特别是2005 年以来，公安部大力推动“3111”工程和城市报警服务与监控系统建设，以“天网工程”、“平安城市”项目为引领的社会治
22、安视频监控系统建设迅猛发展，保守估计全国各级公安机关可直接调控的视频监控摄像机已超百万支1；各行各业、各重点企事业单位社会也广泛开展视频监控系统建设，加强对重点部位、重要场所的实时监控。视频监控系统已经成为维护社会稳定、治安安定和创新社会管理的重要手段，在指挥决策、治安防控、侦查破案和执法监督等方面发挥着积极的作用。当前，视频监控系统已经成为治安防控、侦查破案的重要手段。但是，由于视频数据量庞大且格式复杂，存储代价昂贵且难以管理，面对海量的视频信息、非结构化的数据形式和内容的多义性，在案发后人工调阅方式耗时耗力，大量视频未经梳理而流失，严重影响了监控系统的建设成效。2012 年 2 月公安部下
23、发全国公安机关视频图像信息整合与共享工作任务书，要求充分利用先进的视频监控、图像处理技术，深入开展视频图像信息共享应用平台建设。目前在安全防范领域中，有效分析、组织和管理视频数据，研究基于内容的视频应用系统取代人工方式，提升监控系统建设成效，已经成为警务信息化工作的研究重点。为此，必须充分运用先进的图像处理技术，突破视频监控系统联网、整合与共享工作中存在的发展瓶颈。原有监控工作模式的不足，主要表现在“视频图像采集”、“视频图像检索”和“视频要素建库”这三个环节。（1）视频图像采集不规范 按照公安机关对视频监控系统建设的相关规定，一般要求视频监控系统具备至少 30 天连续视频图像存储能力，并能自
24、动循环覆盖存储。在实际工作中，由于视频图像采集速度慢且过程繁琐，原始视频数据量庞大且格式复杂，备份海量视频需要第一章 绪论 基于视频结构化图侦系统的应用研究 2 海量存储空间等原因，难以建立起一套有效的视频图像信息采集机制，只有在查处大要案事件时，办案部门才会调阅视频监控资源，查找嫌疑人或可疑物品，并随案保存相应视频资料，99%以上的视频图像被自动循环覆盖而没有经过图像信息的梳理采集并保存使用，存在有价值的视频图像信息被覆盖、被流失、被放弃等问题，严重降低了视频监控系统的建设成效。在传统的视频监控系统，即使建设了大量的摄像镜头，但是缺乏对数据的有效分析和利用，大量的有价信息被丢弃或湮没于数据海
25、洋中，成为数据垃圾，投资大、成效低。图 1-1 描绘了原有视频监控图像信息的完整生命周期，仅有不到 1%的视频信息经过梳理研判，绝大部分的视频监控信息没有经筛选而直接流失。因此，充分运用先进的图像处理技术，特别是视频信息的结构化分析技术，建立成熟、规范的视频图像信息采集、管理和研判、应用机制已经十分紧迫。图 1-1 传统视频监控图像信息的完整生命周期分析 在日常网上监控巡逻工作中，由于缺乏一个可操作性的工作平台，也没有建立健全视频图像信息的采集、管理机制，视频监控有“巡”无“查”，监控操作人员缺乏有效的可操作性工作指标。因此，构建规范化的视频图像采集机制对于提升视频监控系统运用价值具有积极意义
26、。（2）视频图像检索困难 当前，视频监控系统深度运用的另一个瓶颈是视频调阅耗时耗力，以人工方式进行检索，效率低下。主要表现在：在案发后对海量涉案视频信息的调阅过程耗时基于视频结构化图侦系统的应用研究 第一章 绪论 3 严重，所需人员投入量巨大并随着案情的复杂程度递增；原始涉案视频质量参差不齐，有时还需要另外工具和受过专业图像处理训练的人员。因此，对海量涉案视频的调阅，对人的体能和精力都是极大的考验，从而直接导致检索效率下降，无法有效地快速浏览视频、定位目标。运用视频图像转码技术，可以将非标格式图像转换成标准格式，便于开展统一视频图像信息采集和建库管理；基于视频摘要技术处理后，整合形成的摘要视频
27、远远短于原始视频，从而缩短了人工调阅的时间，便于快速锁定目标，快速提取线索信息，截取可疑目标出现和消失的视频片段，并与警务数据库进行图片或视频的关联标注保存。这样当有案件需要检索线索时可直接查看标注图片或截取视频，提高了检索线索的效率。（3）视频对网络带宽的瓶颈制约 随着视频监控的联网发展，警务人员在需要倒查录像的时候，都会采用联网下载的方式，这样虽然提升了办案的效率，但也带来了一些弊端，例如对网络带宽的依赖，在倒查录像的时候需要对录像进行下载或者以流媒体的方式进行查看，无论采用何种方式，都会占用非常巨大的网络带宽资源，如果网络无法正常工作或者出现网络堵塞等情况，录像文件往往还有可能出现数据丢
28、失的情况，如何摆脱或者降低对网络的依赖以成为了当前视频监控市场一个迫切需要解决的难题。（4）视频结构化建库不足 目前，各地都在积极探索建立视频信息库，对各部门、警种关注的视频图像信息进行整理、分类存储。但是，在实际工作中，由于视频信息的非结构化、多语义性，所建的视频信息库，只能对案件进行简单标注，各地仍然以人工查看为主。近年来，视频特征提取、视频结构化分析、视频索引、视频检索等技术已经取得了明显的进步，但在整合应用上还有距离，还没有形成一个成熟的工作平台和应用体系。因此，充分利用视频结构化分析、视频摘要等图像处理技术，从案事件证据的角度，建立案事件视频证据库，用来存储从视频监控系统中提取的视频
29、片段和图像特征信息，构建以视频图像共享应用为核心的工作平台，对强化公安机关视频图像信息资源的综合开发利用，提升公安机关的核心战斗力具有积极的现实意义。图侦系统是吴江市“1+X”视频监控系统项目建设的核心系统，系统建设的部分成果，例如视频摘要子系统、视频检测子系统等，已经在吴江市公安局进行试用，效第一章 绪论 基于视频结构化图侦系统的应用研究 4 果满足公安实战需要，有关基层公安机关视频巡逻、视频取证、视频研判、新机制也在逐步推进之中。1.2.项目研究的目的 本文将整合运用视频结构化、视频摘要和数据挖掘等先进技术，研究构建视频图像信息共享侦查应用系统（以下简称“图侦系统”），提供覆盖视频业务从“
30、采集”、“研判”到“保存”、“管理”、“应用”的全局能力支撑，使视频图像成为重要的案件侦破手段和情报来源，前瞻性地推进视频监控系统建设由“信息”到“情报”的演进，并将最终为基层公安民警提供一个“贴近实战、研判高效、管理有序”全局性的视频研判作业环境。主要目标如下：1、对接视频监控联网系统，实现对联网监控视频图像的统一采集、调取，进行案事件视频处理、研判、统一管理、图像要素布控等提供技术手段。2、满足案事件现场移动视频图像采集，实现案事件现场视频图像处理、现场研判；能够快速对现场周边图像进行采集、视频转码播放、视频属性编辑等。3、能够实现视频的结构化分析，具有视频摘要、视频索引、视频检索、视频编
31、辑、图片处理等多种视频图像处理手段，提高视频自动分析能力。4、实现基于PGIS系统资源，实现案事件视频图像轨迹标注、作案路线推演。同时通过电子地图，快速调取需要关注的监控点、监控区域图像以及警务资源。5、对接警务综合信息系统，建立视频图像信息证据数据库，为全警日常警务工作中收集到的可疑或涉案图像资源提供统一的资源管理及存储空间。为重要信息的收集与查询、关联资源的碰撞、串并案分析研判提供基础环境。总之，通过构建和部署应用图侦系统，要求能够：（1）快速锁定突发事件的嫌疑目标；（2）快速标定嫌疑目标的运动轨迹；（3）发现潜在破案线索可以有更多的机会审视更长的录像文件，发现更多的破案信息。从而，使公安
32、机关能够：（1）缩短破案时间，节省办案人员；（2）降低警员劳动强度，降低办案成本；（3）极大提升办案效率。基于视频结构化图侦系统的应用研究 第一章 绪论 5 1.3.国内外应用研究现状 在形式上，视频数据具有非结构化、内容多义性和流媒体传播的特征。因此，视频数据不同于传统数据库所处理的数据类型，它不是一种简单的数值或字符型数据，传统数据库中对字符或数值型数据的处理方法己经完全不能适应对视频数据的处理要求。长期以来，人们只能以流媒体的方式按时间段来存储视频数据。同时，由于数据量庞大、非结构化形式，视频数据存储代价昂贵难以长期保存，也不具备传统数据库的结构化管理能力，严重阻碍了用户的交互操作使用。
33、为此，随着视频监控系统在社会治安防控体系中应用的日益广泛，视频监控系统的深度应用研究越来越成为人们的关注和研究的热点，国内外许多研究机构和单位开展相应的研究。1.3.1 国外应用研究现状 在国外,对视频结构化分析、摘要技术的研究起步稍早一点，1994 年，卡内基梅隆大学就己经开始研发视频数据库系统，该系统在视频摘要方面有非常系统而深入的研究。它更注重缩略视频的生成，即怎样从一段长视频中抽取出视音频信息生成能够表达原视频语义内容的精简视频。特别地，它运用了熟知的 TF-IDF 方法从脚本中抽取文字。之后，Mannheim 大学也做了与 hiformed 系统类似的研究。他们研究出的系统 MOCA 主要针对的是电影，能生成电影的精彩场景亦或是预告片2。近年来，国际上有许多研究机构开展了深入的研究，有微软研究院(张宏江、马宇飞和 Yong Rui 等人)、IBM 研究院(John R.Smith
