1、基于嵌入式的网络视频监控系统研究摘要 近年来，视频监控系统已经在生产管理、安全防盗和远程教学等领域得到了广泛的应用。随着网络技术，图像压缩技术和嵌入式技术的快速发展，视频监控系统正在向着网络化，数字化和小型化的方向发展，目前基于嵌入式的网络视频监控系统已经成为监控系统研究的热点。 考虑到稳定性、可靠性和扩展性的要求，特别是实用性的要求，本文设计了一种新型的基于嵌入式Linux的网络视频监控系统的实现方案。该方案是以嵌入式Linux系统和嵌入式控制器S3C2410为核心平台，通过嵌入式平台建立Web服务器Boa和视频服务器。利用TCP/IP协议技术实现了网络通信，把USB数字摄像头采集到的图像进
2、行JPEG压缩，然后通过网络传输到远程计算机的客户端。客户端方采用Java Applet技术实现图像的接收并完成显示功能。客户端的用户可以通过具有Java插件的浏览器实现监控的目的。实验证明了该方案取得了较好的实验效果。针对该方案所涉及到的关键技术进行了深入的分析和研究，取得了以下主要研究成果。 在嵌入式Linux系统移植方面，深入的分析了嵌入式Linux系统的运行机理，并比较了Linux2.4和Linux2.6内核的区别，选用最新的Linux2.6.11 内核作为移植的目标。完成了Linux系统在ARM平台Nand Flash的启动代码设计，接着主要针对ARM平台完成BootLoder的移植
3、，Linux内核的配置，Yas文件系统的移植，根文件系统的设计与实现。 在视频采集方面，深入分析了USB驱动和v4l视频设备驱动原理，并向Linux内核加载了USB驱动。比较了视频采集的两种方式的优缺点，舍弃了原始的Read直接从内核缓冲区来读取数据的方式，而采用Mmap共享内存的方式将设备映像到内存，使得进程从共享内存中获取视频数据，提高了通信的速度和效率。 在网络监控方面，比较当前流行的几种Web服务器，选择移植了面向嵌入式领域的Boa服务器，并采用C语言设计实现了用户验证的CGI程序。网络通信服务器的设计是采用面向连接的可靠的TCP通信方式，客户端的设计是利用Java Applet完成的
4、，使用新的Swing类集合完成窗口界面的设计，并设计实现了JApplet完成与服务器的通信，达到远程网络监控的目的。 关键词：嵌入式Linux；web服务器；视频监控；TCP/IP；Java Applet第一章 绪论1.1 课题的背景和意义 视频监控系统以其能够实时、形象、真实地反映被监视控制对象的特性广泛应用于生产管理、银行监控和交通安防等重要领域。特别当今社会生活水平的不断提高以及计算机的普及，家庭小型监控系统的需求量也越来越大。传统的模拟信号监控系统存在着诸多局限性：模拟图像信息容易受损，图像质量不高；布线工程大，传输距离受限；数据存储量大，查询不便。虽然数字监控系统克服了上述缺点，但本
5、身也存在一些问题：稳定性可靠性不高，视频前端采集复杂，图像压缩传输不便等。 随着网络技术、图像压缩技术和数字信息技术的不断发展，监控系统也在快速变化和发展中。目前这几种技术结合嵌入式技术催生了全新的基于嵌入式技术的网络视频监控系统。该监控系统是把摄像机输出的模拟视频信号通过嵌入式视频编码器直接转换成IP数字信号。嵌入式视频编码器具备视频编码处理、网络通信、自动控制等强大功能，直接支持网络视频传输和网络管理，使得监控范围达到前所未有的广度。 基于嵌入式技术的网络视频监控系统克服了传统的模拟信号监控系统和数字监控系统的缺点，这种系统的硬件是一个同嵌入式处理器和操作系统捆绑较为紧密、功能专一、专门设
6、计的独立的设备，不像插卡系统那样受通用计算机系统中其它软件硬件的影响，因此性能上更稳定，且便于安装、维护，易于实现系统的模块化设计，便于管理、维护。该监控系统是目前研究的主要方向。本课题是基于这种背景下建立的，其目的是设计实现一套基于嵌入式Linux的网络视频监控系统，针对网络视频监控系统的各项关键技术展开研究，包括嵌入式Linux技术、网络视频的压缩传输和用于客户端的Java Applet技术等。该系统充分利用了网络资源，不需要为监控系统增加额外设备，轻而易举地实现远程视频监控功能，具有良好的扩展性和灵活性，成本低，且便于安装、维护和管理。该系统不仅适用于智能小区、银行、校园和重点实验室的监
7、控，还可用于医疗设备的维护管理、工业生产过程的实时监控、环境与安保集中监控以及水利系统的监控和电力系统的监控等。其设计成本也将随着技术的发展和网络的普及而大大降低，具有较强的实际应用价值和借鉴意义。1.2 国内外发展现状和发展趋势 国外监控系统起步较早，它几乎是随着黑白电视机的诞生就出现。近年来，随着半导体工艺、视频压缩技术、网络传输技术的突飞猛进，监控系统得到了飞速的发展，出现了一大批生产监控系统的专业公司以及附带提供监控产品的公司。如美国的Digital semiconductor公司、MediaCybernetics公司、加拿大Picpo公司、Coreco公司和德国Mir公司等等。其产品
8、多为单路的图像采集卡或压缩卡。其中的Digital semicon-ductor的21230编解码系统由于其较高的性价比和灵活性（支持H.261和MPEG-1），己被广泛用于监控领域。一些厂家己开始研制多路监控系统，典型的代表是韩国L.G公司的LDVR2000/3000系列监控系统。该系统有4-6个通道，压缩格式为M-JPEG，由于采用主机软件压缩，所以效率不高。另外如美国Sensormatic公司型号为INTELLEP的监控系统，它有16个通道，由于采用模拟视频合成，存储仍采用录像带的方式，因而在系统性能以及灵活性上受到限制。 国内在监控领域起步较晚，九十年代前期采用国外的进口矩阵控制主机，
9、为了适应当时计算机普及化的需求，监控公司纷纷开发利用计算机对矩阵主机进行系统控制的软件，实现电脑对监控系统图像切换、音频切换、报警处理、图像抓拍等多媒体控制。此时的计算机多媒体监控实际上仅仅作为监控系统的一个辅助控制键盘使用，可以说是中国数字化监控开始的雏形。 九十年代中、后期是图像处理技术、计算机技术、网络技术飞速发展的时期。中国国内公司在完成矩阵主机、解码器、多媒体控制系统、云台等外部设备产业化生产后，发现台湾地区和国外监控公司开始将他们基于传统电子制造业的监控生产线转移到中国进行生产，这促进了监控系统的在中国的普及应用。 2000年以后，随着图像压缩技术的进步，特别是MPEG-I、MPE
10、G-II图像压缩芯片的大量推广应用，2000年至今，数字监控产品进入了一个快速发展时期。伴随着中国国内监控系统数字化、网络化需求日益增大，使许多传统的IT企业、网络企业、家电企业纷纷看好这一市场，投入资金、人力、开发数字监控产品，数字监控市场在中国呈现空前繁荣的景象。如北京的微视公司。其主要视频监控产品如MV9920实时压缩卡、MV99-G海量硬盘录像智能监控系统、SmartVideo解码系统、以及代销的美国AV-8专业视频压缩卡，但其性能与国外的大公司相比还有相当的差距。 视频监控系统的发展经历了三个不同阶段1234：模拟视频监控，数字化图像监控，基于嵌入式视频服务器的网络化数字视频监控。模
11、拟监控系统发展较早，目前常称为第一代监控系统，系统特点：视频、音频信号的采集、传输、存储均为模拟形式，质量最高经过几十年的发展，技术成熟，系统功能强大、完善。存在的问题是：只适用于较小的地理范围与信息系统无法交换数据监控仅限于监控中心，应用的灵活性较差不易扩展。随着计算机存储和计算能力的不断增强，图像监控迎来了一场技术革命。慢慢从过去的模拟处理方式转向数字处理方式，开始使用PC处理图像信号。利用计算机的数据处理能力与显示器的高清晰度，将视频信号通过视频采集卡采集到计算机中，在显示器上显示，大大提高了图像的画质，但是控制与切换仍采用传统的方式，只是计算机串口与之相连，完成控制工作。尽管它有良好的
12、人机界面和较好的稳定性，但它不能称为真正的数字图像监控系统。其根本原因在于系统设计的出发点不是基于计算机，而是基于传统模式。只是在原有的基础上加以改进，大部分时间里，计算机只是充当一个外部监视器的角色。通信协议的多样化与专用化很难统一，导致己有的计算机资源远远满足不了多种设备的要求。 随着信息处理技术的不断发展，基于嵌入式视频服务器的网络化数字视频监控近几年异军突起。全数字化网络监控系统以网络为平台，采用全新的设计理念，集成当今最先进的网络技术、计算机技术以及数字处理技术。全数字化网络监控系统以IP地址来识别所有的监控设备，采用TCP/IP协议来进行图像、声音和数据采集传输能够实现：更广阔地理
13、远距的布局；无限的可扩展能力；庞大的网络监控。前端一体化、视频数字化、监控网络化、系统集成化是视频监控系统公认的发展方向，而数字化是网络化的前提，网络化又是系统集成化的基础，所以，视频监控发展的最大两个特点就是数字化和网络化也是监控系统发展的必然趋势。网络数字视频监控系统与上述第一、二代系统相比具有明显的优势：利用现有的网络资源，轻而易举地实现远程视频监控；系统扩展能力强，只要有网络的地方增加监控点设备就可扩展新的监控点；维护费用低，网络维护由网络提供商维护，前端设备是即插即用、免维护系统系统功能强大、利用灵活、全数字化录像方便于保存和检索；网络中的任意一台计算机，只要安装了客户端的软件，给予
14、相应的权限就可成为监控工作站。1.3 嵌入式系统概述1.3.1 嵌入式系统的定义嵌入式系统是以应用为中心，以计算机技术为基础，并且软硬件可裁剪，适用于应用系统对功能、可靠性、成本、体积、功耗有严格要求的专用计算机系统5。它一般由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户的应用程序等四个部分组成，用于实现对其他设备的控制、监视或管理等功能。嵌入式系统具有软件代码少、高度自动化、响应速度快等特点，特别适合于要求实时和多任务处理的情况。与通用型计算机系统相比，嵌入式系统功耗低、可靠性高；功能强大、性能价格比高、实时性强，支持多任务；占用空间小，效率高；面向特定应用，可根据需要灵活定制。1.
15、3.2 嵌入式系统特点嵌入式系统是将先进的计算机技术、半导体技术以及电子技术与各个行业的具体应用相结合的产物，与通用的计算机系统相比有如下特点678：(1)技术密集、资金密集、高度分散、不断创新的知识集成系统。通用计算机行业中，占整个计算机行业百分之90的个人电脑产业，绝大部分采用的是Intel的x86体系结构，而芯片厂商则集中在Intel，AMD，Cyrix等几家公司，操作系统方面更是被微软占居垄断地位。但这样的情况却不会在嵌入式系统领域出现。这是一个分散的，充满竞争、机遇与创新的工业，没有哪个公司的操作系统和处理器能够垄断市场。(2)嵌入式系统通常是面向用户、面向产品、面向特定应用的。嵌入
16、式系统中的CPU与通用型CPU的最大不同就是前者大多工作在为特定用户群设计的系统中。通常，嵌入式系统CPU都具有低功耗、体积小、集成度高等特点，能够把通用CPU中许多由板卡完成的任务集成在芯片内部，从而有利于整个系统设计趋于小型化。在对嵌入式系统的硬件和软件进行设计时必须重视效率，去除冗余，针对用户的具体需求，对系统进行合理配置，才能达到理想性能。与此同时，系统设计还受市场供求关系的影响。嵌入式处理器的发展也体现出稳定性，一个体系一般要存在8 10年的时间。一个体系结构及相关的片上外设、开发工具、库函数、嵌入式应用产品合在一起，可以构成一套复杂的知识系统。 (3)嵌入式系统和具体应用有机地结合
17、在一起，其升级换代也是和具体产品同步进行的。因此嵌入式系统产品一旦进入市场，就具有较长的生命周期。 (4)为了提高执行速度和系统可靠性，嵌入式系统中的软件一般都固化在存储器芯片或单片机中，而不是存贮于磁盘等载体中。由于嵌入式系统的运算速度和存储容量仍然存在一定程度的限制，另外，由于大部分嵌入式系统必须具有较高的实时性，因此对程序的质量，特别是可靠性，有着较高的要求。 (5)嵌入式系统本身并不具备在其上进行进一步开发的能力。在设计完成以后，用户如果需要修改其中的程序功能，也必须借助于一套开发工具和环境。 (6)通用计算机的开发人员通常是计算机科学或者计算机工程方面的专业人士，而嵌入式系统开发人员
18、却往往是各个应用领域中的专家，这就要求嵌入式系统所支持的开发工具易学、易用、可靠、高效。1.3.3 嵌入式系统发展历程与趋势 嵌入式系统的出现至今已经有30 多年的历史, 近几年来, 计算机、通信、消费电子的一体化趋势日益明显, 嵌入式技术已成为一个研究热点。纵观嵌入式技术的发展过程, 大致经历四个阶段。嵌入式技术的发展,大致经历了四个阶段9： 第一阶段是以单芯片为核心的可编程控制器形式的系统,同时具有与监测,伺服,指示设备相配合的功能.这种系统大部分应用于一些专业性极强的工业控制系统中,一般没有操作系统的支持,通过汇编语言编程对系统进行直接控制,运行结束后清除内存。 第二阶段是以嵌入式CPU
19、 为基础,以简单操作系统为核心的嵌入式系统.这一阶段的操作系统具有一定的兼容性和扩展性,但用户界面不够友好。 第三阶段是以嵌入式操作系统为标志的嵌入式系统.这一阶段系统的主要特点是:嵌入式操作系统能运行于各种不同类型的微处理器上,兼容性好;操作系统内核精小,效率高,并且具有高度的模块化和扩展性;具备文件和目录管理,设备支持,多任务,网络支持,图形窗口以及用户界面等功能;具有大量的应用程序接口(API),开发应用程序简单;嵌入式应用软件丰富。 第四阶段是以基于Internet 为标志的嵌入式系统, 这是一个正在迅速发展的阶段.目前大多数嵌入式系统还孤立于Internet 之外,但随着Intern
20、et 的发展以及Internet 技术与信息家电,工业控制技术等结合日益密切, 嵌入式设备与Internet 的结合将代表着嵌入式技术的真正未来。嵌入式系统的发展对嵌入式操作系统提出了更高的要求.因此,对嵌入式操作系统的结构,设计,用户界面等诸多方面进行深入研究,将有助于嵌入式系统的应用和发展。其发展的趋势如下81011： (1)低功耗的嵌入式系统。为满足高可靠性要求, 低功耗的系统将应运而生。 (2)Java 虚拟机与嵌入式Java开发的嵌入式系统希望有一个方便的、跨平台的语言与工具,Java正是用Java 虚拟机实现Java 程序独立于各机种的平台。一个支持嵌入式系统开发的、足够小、足够快
21、、又有足够确定性的嵌入式Java程序包已经出现, Java虚拟机与嵌入式Java 将成为开发嵌入式系统的有力工具。 (3)嵌入式系统的多媒体化和网络化。随着多媒体技术的发展, 视频、音频信息的处理水平越来越高, 为嵌入式系统的多媒体化创造了良好的条件, 嵌入式系统的多媒体化将变成现实。它在网络环境中的应用已是不可抗拒的潮流, 并将占领网络接入设备的主导地位。(4)嵌入式系统的智能化。嵌入式系统与人工智能、模式识别技术的结合, 将开发出各种更具人性化、智能化的嵌入式系统。1.3.4 嵌入式Linux系统开发的优势 Linux系统作为一个嵌入式操作系统具有许多的优点，如系统稳定、功能强大、支持多种
22、硬件平台、应用软件多、简单易用。以下几点就具体说明了本系统选择嵌入式Linux 作为操作系统的原因12，所有的这些，都是现有的嵌入式操作系统所无法比拟的。 (1)使用成本低。几乎所有的商业用操作系统如Microsoft 公司的Windows 98/NT SERVER/NT Workstation 系列，都需要为每一个拷贝支付相当数量的费用，在其下的应用软件每一个都需要大量的支出来获得。商用操作系统下建立了一个开发工具链，用户除了要为操作系统本身付费之外，还要为组成工具链的应用软件工具包支付大量的费用。但是Linux 是免费软件，只要遵守GPL 的规定，就可以免费获得拷贝。Linux下有同样遵循
23、GPL 规定的C、C+、Java 等等一系列的软件工具开发包，从功能角度上看并不亚于商用开发包，同时可以极大的降低开发成本。(2)源码公开。Linux 可以随意地配置不需要任何的许可证或商家的合作关系，任何人可以修改并在GPL 下发行。开发人员可以对操作系统进行定制，由于有GPL的控制，大家开发的东西大都相互兼容，不会走向分裂之路。Linux 用户遇到问题时可以通过Internet 向网上成千上万的Linux 开发者请教，即使最困难的问题也有办法解决。Linux 带有Unix 用户熟悉的完善的开发工具，几乎所有的Unix系统的应用软件都已移植到了Linux 上。其强大的语言编译器gcc、g+等
24、也可以很容易得到，不但成熟完善，而且使用方便。(3) 支持多种硬件平台。Linux 因为有了一个大的支持者群体，其中许多人都编写驱动程序和其它的更新程序并且免费的通过Internet 网络进行分发，这意味着对新硬件的Linux 驱动程序甚至比用于其它的UNIX 系统的驱动程序还来得及时。现在Linux 已经被移植到多种硬件平台，支持包括X86、MIPS、PowerPC、ARM等现有的绝大部分微处理器体系结构。这对受开销、时间限制的研究与开发项目是很有吸引力的，原型可以在标准平台上开发然后移植到具体的硬件上，加快了软件与硬件的开发过程。 (4)文档技术支持完善。Linux 有非常多的文档支持，从
25、为初学者准备的各种教程到非常详细的联机帮助文档。Linux 是互联网充分发展的产物，许多关于Linux 的文档都可以在Internet 上找到和下载。Linux Document Project 是为Linux 提供系统化的文档支持的项目，在世界上许多程序员和用户的帮助下，它已经收集了非常详细的系统文档和使用文档。而且，各种关于Linux 的书籍和杂志正如雨后春笋般地出现，大量的英文资料也正在翻译成中文，方便中文使用者。用户还可以通过Linux 新闻组得到很好的支持。对Linux 的支持绝大部分是通过用户团体在Usenet 新闻组上提供的。这上面广泛收集有大量的FAQ，其内容包括Linux 安
26、装、配置和故障定位的方方面面。 (5)强大的网络功能。Linux 操作系统突出的是网络部分，基本上所有的网络协议和网络接口都可以在Linux 上找到，Linux 内核比标准的UNIX 更加高效地处理网络协议，系统的网络吞吐性能非常好，这也是为什么Linux 在网络服务器市场上占据越来越大市场份额的一个原因。 (6)微内核模块化体系结构。Linux 操作系统本身的微内核体系结构相当简单，网络和文件系统以模块形式置于微内核的上层，驱动程序和其它部件可在运行时作为可加载模块编译到或者是添加到内核，这为构造定制的嵌入系统提供了高度模块化的构件方法，使添加部件非常容易。 (7)系统小巧。一个功能完备的L
27、inux 内核要求大约1M 内存。而Linux 微内核只占用其中很小一部分内存，包括虚拟内存和所有核心的操作系统功能在内，只需占用系统的100K 内存。只要有50OK 的内存，一个有网络协议栈和基本实用程序的完全的Linux 系统就可以在一台8 位总线（SX）的Intel 386 微处理器上运行的很好了。由于内存要求常常是根据需要的应用所决定的，Linux 系统甚至可以仅使用256KB ROM和512KB RAM 进行工作，完全适合于资源有限的嵌入式硬件平台。1.4 论文的主要工作和内容安排 本文在广泛了解视频监控的发展现状和发展趋势的基础上，结合嵌入式系统、网络数据传输技术，数字图像压缩技术
28、，提出一种基于嵌入式Linux的网络视频监控系统设计方案。重点介绍了系统软件设计环境的搭建和系统软件的实现过程。整个论文的结构安排如下： 第一章主要介绍课题的背景和意义和视频监控系统的国内外发展现状和发展趋势。嵌入式系统的定义，嵌入式系统的特点以及嵌入式发展历程与趋势，引出本系统选择嵌入式Linux系统作为系统平台的原因所在。最后引出本论文设计的主要工作和内容安排。 第二章介绍网络视频监控系统的软件设计环境的搭建，首先给出了系统的总体结构设计，接着说明本系统的硬件平台选择ARM开发板的原因，以及简单介绍ARM9开发板S3C2410的硬件资源，最后给出主机开发环境的搭建。 第三章主要涉及到一些移
29、植工作，首先给出了整个系统的启动过程，然后对各个启动的各个环节进行分析，并把这些环节移植到ARM平台上。这些移植的环节包括BootLoad的移植，Linux内核的移植，YAFFS文件系统的移植和用BusyBox1.5.1版本制作根文件系统。 第四章涉及到网络视频监控终端软件的设计。首先给出图像采集的一些知识，包括驱动的加载和设计，基于video4linux的图像采集的实现过程。然后涉及到图像的网络传输设计，包括web服务器的构建，CGI用户验证，视频服务器端设计和客户端JavaApplet的设计以及HTML网页的设计等。第五章给出系统设计方案的实验测试，并对研究工作进行了总结，给出了论文的不足
30、之处和对下一步的研究工作提出了展望。第二章 系统开发环境的建立2.1 系统总体结构设计本文本着稳定性、可靠性和实用性以及性价比高的原则，运用当前的网络技术、视频压缩技术和嵌入式技术等设计的基于嵌入式Linux系统的网络视频监控系统。该系统是以嵌入式Linux系统和嵌入式控制器S3C2410为核心平台，在这个平台上建立web服务器和视频服务器。利用TCP/IP协议技术实现了网络通信，把USB数字摄像头采集到的图像进行JPEG压缩，然后通过网络传输到远程计算机的客户端。客户端方采用JavaApplet技术实现图像的接收并完成显示功能。客户端的用户可以通过具有java插件的浏览器实现监控的目的。如图
31、2.1所示的系统总体结构图。图2.1 系统整体结构图整个系统分为以下四个部分： 图像采集部分。该部分利用USB摄像头完成视频图像的采集的工作，USB摄像头使用的是中星微的zc301p芯片的高清晰摄像头，该芯片具有JPEG视频图像的硬件压缩功能。嵌入式平台部分。嵌入式平台包括嵌入式ARM处理器和移植到ARM的Linux操作系统。并移植web服务器到该平台，利于超文本文档传输。网络传输部分。该部分负责把采集到的图像通过网络传输到客户端，包括视频服务器程序设计等。客户端浏览部分。该部分主要把接收的图像显示到浏览器上，便于监控。利用JavaApplet完成客户端的程序设计。下面就是针对提出的方案做具体
32、的设计工作。2.2 系统硬件的选型本系统使用的硬件平台是由广州友善之臂科技有限公司开发的一款基于ARM9的开发板SBC2410，其中央处理器采用韩国三星电子公司生产的S3C2410X。这是一款基于ARM920T内核的16/32位RISC嵌入式微处理器，带有MMU功能，其主频可以达到203MHz，同时采用了AMBA的新型总线结构，实现了MMU、AMBA BUS、Harvard的高速缓冲体系结构，同时支持Thumb16位压缩指令集，从而能以较小的存储空间要求获得32位的系统性能。2.2.1 S3C2410X处理器简介S3C2410X处理器131415提供了丰富的资源：16KB指令Cache和16KB数据Cache，以及MMU虚拟内存管理；LCD控制器；支持NAND Flash系统引导；SDRAM控制器；3通道的UART；4通道的PWM定时器；I/O端口；8通道的10位ADC和触摸屏接口；IIC总线接口；IIS总线接口；USB主机和USB设备控制器；SD和MMC卡接口；2通道的SPI；处理器还集成了RTC功能和具有PLL的芯片时钟发生器。S3C2410X支持从NAND Flash启动，NAN
