1、基于嵌入式Linux的视频采集编码发送模块的设计与实现硕士学位论文 精品重庆邮电大学硕士学位论文论文题目基于嵌入式Linux的视频采集编码发送模块的设计与实现英文题目The Design and Realization of Video Capturing and Encoding and Transiting Module Based on Embedded Linux硕士研究生指导教师学科专业电子与通信工程论文提交日期年 月 日论文答辩日期年 月 日论文评阅人 答辩委员会主席年月日独 创 性 声 明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中
2、特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 重庆邮电大学 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名： 签字日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解 重庆邮电大学 有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权 重庆邮电大学 可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书
3、)学位论文作者签名： 导师签名：签字日期： 年 月 日 签字日期： 年 月 日摘要随着人们对安全要求的不断提高、嵌入式微处理器和多媒体压缩技术以及无线传输技术的快速发展，无线实时视频监控系统得到了快熟的发展与应用。本文基于DM6467平台，使用TVP5158芯片实现多路视频复合采集，经过解复用后，远程调用DSP端H.264编码器完成视频流的实时编码，最后利用RTP协议封装视频数据并通过MF210无线模块实现视频的无线传输。论文最终设计实现了一种应用在无线实时视频监控系统中的多路视频采集编码发送方案。论文首先研究了应用在无线视频监控系统中的关键的技术，包括DaVinci技术、V4L2视频采集驱动
4、规范、H.264编码算法以及RTP流媒体实时传输协议和WCDMA技术等。随后分析了模块的功能需求，并根据需求分析设计了视频采集编码发送模块的总体架构。接下来论文研究了DaVinci开发平台的硬件和软件开发环境，并根据开发需求完成嵌入式开发环境搭建，主要工作包括嵌入式Linux服务器搭建、开发工作站配置、嵌入式Linux内核移植等。在以上基础上，完成视频采集、视频编码、视频发送三个子模块具体的设计与实现。分别在视频采集子模块中，设计与实现基于V4L2采集驱动规范的多路视频的复合采集；在视频编码子模块中，设计与实现基于Codec Engine机制的H.264编码，主要工作包括H.264编码器的构建
5、和编码应用程序的实现。在构建H.264编码器过程中主要完成X.264编码算法的xDM封装、Codec Server生成、Codec Engine引擎配置等，在编码应用程序中，通过调用H.264编码器的VISA API接口，实现采集的视频数据的实时编码；在视频发送子模块中，先构建WCDMA网络的传输链路，主要工作是完成MF210驱动移植、PPP移植与PPP拨号实现，然后在应用层利用RTP（实时传输协议）封装编码后的NAUL数据，最后创建socket，将打包而成RTP数据包发送到wcdma网络中。在测试阶段，通过对系统的整体测试，验证了课题成功完成了模块设计的预期目标。关键字：视频采集编码发送模块
6、；Davinci，V4L2，H264，xDM，WCDMAAbstractWith the constant improvement of the people to safety requirements, the embedded microcontroller processor and multimedia compression technology and the rapid development of wireless transmission technology, wireless real-time video monitoring system for the devel
7、opment and application of cook. DM6467 based platform, this paper use TVP5158 chip to realize the collection of multi-channel video composite, after solution reuse, remote call DSP end of h. 264 encoder complete video streaming real-time encoding, finally using RTP protocol encapsulation video data
8、and realize the wireless transmission of video by MF210 wireless module. Final design thesis implements a application in wireless real-time video monitoring system of multi-channel video acquisition coding send package. Paper first studied the application of key technology in wireless video monitori
9、ng system, including the DaVinci technology, V4L2 video acquisition drive standard, h. 264 encoding algorithm and RTP streaming media real-time transmission protocol and WCDMA technology, etc. Then analyzed the module function demand, and according to the demand analysis and design the overall archi
10、tecture of the encoding video collection is sending module. The paper studied the DaVinci development platform of hardware and software development environment, and according to the development needs to complete embedded development environment set up, the main work includes embedded Linux server se
11、t up, develop the workstation configuration, embedded Linux kernel transplantation, etc. On the basis of above, complete the video acquisition, video coding, video sent three child module detailed design and implementation. In video acquisition module, the design and implementation based on V4L2 acq
12、uisition drive specification composite of multi-channel video acquisition; In video coding module, the design and implementation based on the Codec Engine mechanism of h. 264 coding, the main work including h. 264 encoder the implementation of the construction and coding applications. In constructio
13、n of h. 264 encoder mainly completed in the process of x. 264 encoding algorithm of xDM encapsulation, Codec Server generate, Codec Engine Engine configuration, etc., in coding the application by calling the h. 264 encoder VISA API interface, realize the acquisition of video data real time coding; I
14、n video send sub module, transmission link of the construction of WCDMA network first, main job is to complete MF210 drive, the PPP to transplant with the PPP dial-up, and then in the application layer using RTP (real-time transport protocol) encapsulation encoded NAUL data, finally create a socket,
15、 will be packaged into RTP packets sent to the WCDMA network. During the testing period, through the whole system testing，it verify that this paper successfully completed the anticipated target of the module design.Keywords: module of video Capturing and Encoding and Transmiting, Davinci, H264, xDM,
16、 V4L2, WCDMA第一章 绪论1.1 视频监控系统行业背景随着人们对安全要求的不断提高和嵌入式微处理器、多媒体压缩技术以及无线传输技术的迅猛发展，无线实时视频监控系统得到了快熟的发展与应用。从技术角度上研究视频监控系统，可以将视频监控系统划分为三个阶段，分别是：第一阶段的模拟视频监控系统（CCTV），第二阶段的数模结合的视频监控系统（DVR）。而随着多媒体传输技术的发展，主要是信息编解码技术的发展以及Internet网络和无线网络的发展，数字视频监控系统又可被划分为以数字录像设备为核心的数字化本地视频监控系统和以嵌入式视频服务器为核心的数字化远程视频监控系统，即第三代的网络视频监控系统。
17、近年来个人化、智能化和网络化将是未来视频监控市场主要的发展趋势1，视频监控应用的发展过程如图1.1所示。图1.1 监控应用的变迁一模拟视频监控系统模拟视频监控系统使用专用的同轴线缆传输模拟的视频信号，它的系统硬件组成主要部分是摄像机、线缆、录像机和监视器等设备。随着多媒体技术编解码技术发展，微处理器性能的提高以及网络带宽的提高，视频监控系统在硬件结构方式、功能实现、性能以及扩展性方面都有了重大的变化，视频在系统构成上更加灵活个性化，功能上更加丰富、全面，人机交互更加友好易于操作，系统的外围接口更加丰富且统一，便于系统的功能拓展。但是，由于视频信息流的在系统中依然是以模拟信号传输，视频监控系统的
18、的系统构架难以发生巨大的变革，同时模拟视频监控系统的网络结构是一种单向、单功能形式的信息采集传输网络，因此虽然系统的整体技术已发展到很成熟的技术水平，但是由于以上系统结构和网络结构的局限，模拟监控系统的发展已经到达一个瓶颈阶段，难以满足日益提升的视频监控需求。模拟监控系统的主要缺陷是：(1) 系统监控区域有限。由于模拟信号在同轴电缆传输的范围有限，导致系统通常只适合应用在范围较小的监控区域；(2) 系统的扩展能力差。对于已建立好的监控系统，由于其组网架构以及系统功能架构的局限，若要去增添设备，则需要大范围的修改系统，甚至重建系统。(3) 不能形成有效的报警联动。由于系统各部分独立运行，相互之间
19、的协议不能发生通信，造成联动只能在很小的范围内进行，不便对系统进行有效的掌控。所以，要满足对视频监控更高的要求，监控数字化是必由之路。而且数字通信的快速发展，也保障了数字化的可能性。二数字视频监控系统90年代初，微处理器技术和彩色视频技术的发展推动了数字视频监控系统的出现与发展。数字视频监控系统系统利用微处理器的对数据的高速处理能力进行视频的采集和编码等处理，利用彩色视频技术在高分辨率的显示器上实现多画面的清晰显示，大大提高了视频监控系统的质量。这种基于微处理器的多媒体主控平台系统被称为数字视频监控系统。数字视频监控系统的主要技术产品是DVR，采用windows平台，在个人计算机上安装不同型号
20、的视频显卡和对应的DVR软件，用户可以得到相应的1、2、4路的采集视频，并可以得到实时的语音和视频传输服务。但是由于视频编解码技术发展和网络技术发展的滞后，有限的带宽不能支持传输数据量巨大的视频数据，监控信息大多只局限于本地系统，难以进行远程的视频监控。但是市场对视频监控的更高的需求不断的推动着视频编解码技术、流媒体技术以及网络技术的发展，从而也把网络视频监控推向了发展的必然。三.网络视频监控系统90年代末期，随着计算机处理能力提高、多媒体编解码技术发展、网络带宽和存储容量的迅速提升、以及各种视频处理技术的发展，以嵌入式技术为主要平台，以网络、通信技术为依托，以智能图像分析为特色的网络视频监控
21、系统正快速的登上视频监控的舞台，引发了视频监控行业的技术革命，赢得了学术界、 用户的高度重视。网络视频监控的出现使得视频监控开始向道路交通、家庭、教育、企业信息化、医疗等新的运用领域渗透2。网络视频监控即IP监控，网络视频监控就是依靠有线或者无线IP网络以数字化的形式实现视频信息的远程传输。只要是网络可达的地方，无论是以有线还是无线的方式，只要有需要就可以轻松地实现视频监控和视频数据的存储。同时，网络视频监控还可以完美的和其它类型的监控系统进行结合，便于系统的兼容与扩展。尽管当前网络视频由于其成本限制，使其应用主要局限于智能交通、平安城市等大型项目中，但随着社会发展、人民经济水平提升以及对安防
22、监控要求的提高，智能家居、家庭安防等行业应用正在崛起3。同时，因为智能监控所具有的及时、精确、便捷和节约资源等优势，随着技术的发展市场的扩张，新一代网络化、智能化和个人化的视频监控有极大的研究价值，必将得到广泛的推广和应用4。1.2 课题研究背景及意义随着近年来社会的不断的快速发展，各国各行业对安防越来越重视，视频监控行业取得了长足的发展。在中国，伴随着技术日渐成熟和成本降低，以及在“平安城市”工程、世博会、奥运会等重大项目和事件的推动下，视频监控市场得以快熟的发展和结构调整，使得基于网络的数字监控逐步成为市场主导，而传统的模拟监控市场逐步萎缩。目前基于嵌入式无线流媒体技术是网络视频监控市场中
23、应用最为广泛的视频监控技术。基于嵌入式无线流媒体技术是嵌入式技术、无线网络技术、视频编码技术和流媒体传输技术的结合5。在嵌入式方面，DaVinci技术融合了ARM与DSP技术，这样使得达芬奇处理器既具备ARM良好的控制功能，又有DSP强大的计算能力，能够满足更多应用场合的需求。在传输方面，无线视频监控具有高移动性、架设灵活、管理方便和综合成本低的优点。目前WCDMA是国内应用最为广泛的3G网络制式，如果支持HSPA网络的话，那么理论最高上行是5.76Mbps，理论最高下行是7.2Mbps，如果是支持HSPA+网络的上网卡设备，理论最高下行则是21Mbps。这样的理论带宽足以满足无线实时流媒体的
24、传输，但在实际运用中由于无线信道的高信噪比、高衰落等复杂性和网络本身的缺陷导致无线信道容量有限，要实现清晰、实时的无线视频传输仍然存在困难。在编码方面， H.264编码技术因其低码率（高压缩比）、高质量画面、容错能力强、网络适应性强，逐渐得到学术界和工业界的广泛认可，成为当前无线视频编码领域最为热门技术之一。在流媒体传输方面，RTP协议是应用非常广泛的流媒体实时传输协议，针对流媒体传输的连续性、实时性和占用带宽较大的特性，RTP协议经常配合使用UDP不可靠传输协议来传输数据。虽然视频压缩技术和无线传输带宽有了长足进步，但考虑到无线视频传输中视频数据量庞大、传输实时性要求高而无线信道的带宽有限，
25、完成视频数据在无线信道中上的实时传输仍然是一个巨大挑战。本课题设计源于本人研究生期间参与的科技型中小企业技术创新基金项目基于TD-SCDMA的远程无线视频监控系统。课题方案中ARM微处理器通过V4L2编码驱动接口控制 TVP5158 芯片实现视频的多路复合采集，经过解复用之后，把采集的视频数据进行 H.264 实时压缩编码，在应用层利用RTP实时传输协议封装视频数据，最后通过MF210 无线发射模块把视频数据发送到 WCDMA网络中。论文最终完成了无线实时视频监控系统中的视频采集、编码、发送模块的设计与实现。1.3 论文组织架构本论文一共分为6章，其中，第一章是绪论部分，第二至第五章是论文的主
26、体，第六章是论文的工作总结和展望。第一章是绪论部分。从视频监控从模拟到数字、网络的发展历史讲起，介绍了视频监控的发展，本课选题背景、意义及主要研究内容。第二章是模块的总体设计。首先研究了与模块相关的关键技术，然后分析了模块的功能需求，并根据功能分析设计了视频采集、编码、发送模块的总体架构。第三章是搭建系统的开发平台。首先分析了DaVinci硬件以及软件开发环境，并根据开发需完成嵌入式开发环境搭建，主要工作包括嵌入式Linux服务器搭建、开发工作站配置、嵌入式Linux内核移植等。第四章是系统软件设计与实现部分。分别设计实现了视频图像采集、视频图像编码和视频图像发送三个子模块。（1）.视频采集子
27、模块：设计实现基于V4L2采集驱动规范的视频采集。（2）.视频编码子模块：设计实现视频数据的H.264压缩编码。具体实现过程是：构建H264编码器，主要工作包括完成X.264编码算法的xDM封装，Codec Server生成、Codec Engine引擎配置等；最后在应用层远程调用编码器的VISA API接口实现视频编码；（3）视频发送子模块：实现视频数据的无线发送。先构建WCDMA网络的传输链路，主要工作是完成MF210驱动与PPP移植，以及ppp拨号实现，然后采用基于UDP协议的RTP流媒体实时传输协议打包视频数据，最后创建socket发送数据到wcdma网络中。第五章是对模块软件的性能的
28、测试与验证。结合整个视频监控系统进行测试，通过实测图像来评定系统设计实现的完成情况。第六章 对论文进行总结及下一步研究方向。1.4 本章小结本章主要介绍了该课题的研究背景；分析了当前视频监控技术的研究现状；分析了系统背景以及应用价值；最后指明了该课题的研究内容以及编排了本论文的组织结构。第二章 视频采集编码发送模块的总体设计本章首先从硬件平台、视频采集子模块、视频编码子模块、视频发送子模块方面研究了适用于本课题的DaVinci技术、V4L2视频采集驱动规范、H264编码算法以及WCDMA技术和RTP流媒体实时传输协议等。然后分析了视频监控系统的总体架构，在此基础上分析了模块的功能需求，根据需求
29、分析设计了模块的整体架构。2.1 模块相关的关键技术研究2.1.1 Davinci技术达芬奇技术由达芬奇处理器、达芬奇软件、达芬奇开发工具和达芬奇技术支持组件等优化构成，其结构如图2.1所示67。图 2.1达芬奇技术结构图DaVinciTM处理器是TI公司为面向视频编解码应用而专门设计的一款数字流媒体处理器。在硬件方面，DaVinci技术集成了ARM与DSP双核处理器，它在DSP处理器运行DSP/BOIS操作系统，利用其强大的数据处理能力和高速的运转速度实现对音视频的编解码以及实现图像的相关处理；在ARM处理器运行MontaVista Linux操作系统，利用其良好的控制功能，实现对外围设备的
30、控制，如设备的初始化、远程调用DSP算法库等；在软件方面，TI为视频软件开发商提供了标准化编码器接口，增强了编码器的移植性，简化了二次开发的难度，同时TI还提供了集成处理器、软件、工具等支持，简化了设计与开发进程，加速了产品开发与创新速度。2.1.2 V4L2视频采集驱动接口V4L2是Linux平台下视频采集设备驱动程序开发的一套规范。它为Linux中视频设备访问提供了通用接口，在Linux系统中，V4L2驱动的Video设备节点路径通常/dev/video/中的videoX。V4L2是一个两层驱动结构：上层是videodev模块，当videodev初始化后，它把自己注册为一个主设备号为81的
31、字符设备，同时注册自己的字符驱动成员函数；下层是V4L2驱动程序，它实际上是videodev的客户端，videodev通过V4L2驱动程序的成员函数来调用V4L2驱动程序8。它使用分层的方法给驱动程序的开发提供了清晰的模型和一致的接口，方便驱动程序的开发。在应用程序实现视频采集的过程中，通常用到的两个V4L2系统调用是ioctl()和mmap()，其中 ioctl()系统调用负责控制设备的I/O通道，mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。2.1.3 H.264视频编码技术随着近年来嵌入式流媒体技术快速发展，这使得视频会议，视频监控，可视电话，以及视频直播等得到了长
32、足的发展。但是网络带宽毕竟是有限的，尤其是带宽较窄的无线传输环境中，在因而我们需要在尽可能保证图像质量的前提下，减少视频信息中的冗余量，从而缓解无线网络带宽，这也是视频压缩的目标。因此，视频编码技术也得到了更广泛的应用与发展。H.264 标准9正是在这种大的背景下诞生。H.264标准是由ITU-T和ISO/IEC联合开发的，它定位于覆盖整个视频应用领域，包括：传输DVD和数码相机的高清晰度的视频应用、传输电视广播标的准清晰度和高清晰度视频的应用、传输Internet上的视频流的应用以及传输低码率的无线视频应用等。H.264从功能上可以分为两层：VCL层（视频编码层）和NAL层（网络提取层）。VCL层主要目标是尽量的独立于各种网络的情况下进行数据高效的编解码。VCL主要完成对块、宏块、片等语法级别的定义和核心压缩引擎，压缩单元主要完成运动补偿、变换编码、熵编码等。N
