1、多媒体网络通信技术大作业1、题目：基于局域网的可视对讲系统设计2、系统开发环境与工具：（1） 、硬件环境：实验室局域网（2） 、软件环境：WindowsXP 操作系统（3） 、开发工具：自己熟悉的面向对象的网络通信编程工具与平台，相关音频、视频编码与传输协议类库3、要求与评分标准：（1） 要求：在以上硬软件环境下，利用合适的开发工具，设计一套可视对讲软件，实现局域网内两台计算机之间的可视对讲功能，要求音视频信号连续性、实时性较好，满足正常交流需要。（2） 评分标准系统原理分析（20 分）1.系统原理概述（10 分）2.关键技术分析（10 分）系统总体方案设计（30 分）1.按模块化设计要求画系
2、统结构图（15 分）2 数据流分析（15 分）系统具体设计（30 分）呼叫处理模块流程图与关键代码（6 分）音视频采集与播放模块流程图与关键代码（6 分）音视频处理（编解码）模块流程图与关键代码（6 分）音视频封包与解析模块流程图与关键代码（6 分）音视频发送与接收模块流程图与关键代码（6 分）系统测试与评价（20）实现语音通信（6 分）实现视频通信（6 分）实现音视频同步（8 分）1 系统原理分析1.1 系统原理概述视频聊天系统应该具备提供便捷、灵活、全面的音频、视频信息的传递和服务的功能，并且实时传输给聊天软件在线的人。本次方案采用 Microsoft Visual C+ 6.0 编程开发
3、视频聊天系统的一套比较常用的解决方案。语音视频聊天采用 UDP 模式，在客户端之间点对点的进行，因为 UDP 传输速度快，TCP 是面向连接的，建立连接时双方需经过三次握手，数据传输可靠，FTP、TELNET 等就是基于 TCP 的，UDP 是面向非连接的，发出信息不需对方确认，但这样速度比 TCP 快， 但有可能丢失数据，象 SMTP、TFTP 等就是基于 UDP 的。在该方案中，通过函数库VFW（Video for Windows）来实现视频捕获、影像压缩以及影像播放。微软公司提供的专门用于视频捕获开发的工具包 VFW，为在 Windows 操作系统中实现视频捕获提供了标准的接口，从而大大
4、降低了程序的开发难度。在视频传输方面，则通过组建视频帧，将位图形式的视频帧压缩成帧格式的 MPEG4 流，传输到客户端后，解压并显示影像。同时采用线程来实现语音录制和语音回放，最终实现了通过服务器中转的文字聊天、点对点的语音视频聊天。1.2 关键技术分析可视对讲的关键技术之一是音视频同步问题。解决同步问题的方法有很多种，其中时间戳是最成熟最完美也是最复杂的解决办法，可以解决任何多媒体领域的音视频同步问题。其原理是选择一个参考时间，在生成数据流时依据参考时间上的时间给每个数据块都打上时间戳；在播放时，读取数据块上的时间戳，同时参考当前时钟上的时间来安排播放，让快于这个参考时间的包等待，丢弃慢于这
5、个参考时间的包。在基于时间戳的同步机制中，仅仅对不同步的数据进行处理是不完备的，还需要反馈机制，如基于Windows 平台的 DirectShow 就提供这样一个反馈机制，它的质量控制(Quality Control) 可以将播放的状态反馈给源，让源端加快或者放慢数据流的速度。多媒体文件的采集， 播放及对同步的要求都非常严格，如果从多媒体文件中分离出音视频数据的数据不同步， 音视频的时间差则会越来越大，这是无法忍受的，所以在多媒体文件中，不但要求有同 步机制，还要求有反馈机制。可视对讲的关键技术之二是数据压缩技术。多媒体信息数字化后的数据量非常大， 尤其是视频信号，数据量更大，需要占用更大的信
6、道带宽，成本十分昂贵。为了节省存储空间充分利用有限的信道容量传输更多视频信息，必须对视频信息进行压缩。目前， 在视频图像信息的压缩方面已经取得了很大的进展。有关图像压缩编码的国际标准主要有 JPEG、H.261、H.263、MPEG-1、MPEG-2、MPEG-4 等。有关音频信号的压缩编码技术基本上与图像压缩技术相同，不同之处在于图像信号是二维信号，而音频信号是一维信号，相比较而言音频信号数据压缩难度较低。可视对讲的关键技术之三是视频采集。对于视频的采集，主要采用微软公司的关于数字视频的一个软件包 VFW（Video for Windows）。VFW 是 Microsoft 1992 年推出
7、的关于数字视频的一个软件包，它能使应用程序通过数字化设备并播放从传统的模拟视频源得到数字化的视频剪辑。为了解决数字视频数据量大的问题，需要对数据进行压缩，它引进了一种叫 AVI 的文件标准，该标准未规定如何对视频进行捕获、压缩及播放，仅规定视频和音频该如何存储在硬盘上，以及在 AVI 文件中交替存储视频帧和与之相匹配的音频数据。VFW 给程序员提供 VBX 和 AVICap 窗口类的高级编程工具，使程序员能通过发送消息或设置属性来捕获、播放和编辑视频剪辑。用户不必专门安装 VFW，在安装Windows 时，安装程序会自动地安装配置视频所需的组件，如设备驱动程序、视频压缩程序等。2 系统总体方案
8、设计2.1 系统模块分析2.1.1 视频捕获VFW 软件包主要由以下六个模块组成：（1） AVICAP.DLL：包含执行视频捕获的函数，它给 AVI 文件、I/O 和视频、音频设备驱动程序提供一个高级接口；（2） MSVIDEO.DLL：包含一套特殊的 DrawDib 函数，用来处理屏幕上的视频操作；（3） MCIAVI.DRV：包括对 VFW 的 MCI 命令解释器的驱动程序；（4） AVIFILE.DLL：包含由标准多媒体 I/O（mmio）函数提供的更高的命令，用来访问AVI 文件 ；（5） 压缩管理器（ICM）：用于管理的视频压缩/解压缩的编译码器（Codec）；（6） 音频压缩管理器
9、（ACM）：提供与 ICM 相似的服务，适用于波形音频。AVICap 支持实时的视频流捕获和单帧捕获，并提供对视频源的控制。虽然 MCI 也提供数字视频服务，比如，它为显示 AVI 文件的视频提供了 AVIVideo 命令集，为视频叠加提供了 overlay 命令集，但这些命令主要是基于文件的操作，不能满足实时地直接从视频缓存中获取数据的要求。对于使用没有视频叠加能力的捕获卡的 PC 机来说，用 MCI 提供的命令集是无法捕获视频流的。而 AVICap 在捕获视频方面具有一定的优势，它能直接访问视频缓冲区，不需要生成中间文件，实时性很强，效率很高。同时，它也可将数字视频捕获到文件。在视频捕获之
10、前需要创建一个捕获窗，所有的捕获操作及其设置都以它为基础。用AVICap 窗口类创建的窗口（通过 capCreateCaptureWindow 函数创建）被称为“捕获窗”， 其窗口风格一般为 WS_CHILD 和 WS_VISIBLE。实际上，捕获窗类似于标准控制（如按钮、列表框等）。捕获窗具有下列功能：（1）将视频流和音频流捕获到一个 AVI 文件中；（2）动态地同视频和音频输入器件连接或断开；（3）以 Overlay 或 Preview 模式对输入的视频流进行实时显示；（4）在捕获时可指定所用的文件名并能将捕获文件的内容拷贝到另一个文件；（5）设置捕获速率；（6）显示控制视频源、视频格式、
11、视频压缩的对话框；（7）创建、保存或载入调色板；（8）将图像和相关的调色板拷贝到剪贴板；（9）将捕获的一个单帧图像保存为 DIB 格式的文件。视频捕获编程涉及视频捕获的结构、宏、消息和函数。发送 AVICap 窗口消息所能完成的功能都能调用相应的宏来完成。如，SendMessage 与 capDriverConnect 的作用相同， 都是将创建的捕获窗同视频输入器件连接起来。灵活编写 AVICap 提供的回调函数可满足一些特殊需求。将宏 capCaptureSequenceNoFile 和用 cap SetCallbackOnVideoStream登记的回调函数一起使用，可使应用程序直接使用视
12、频和音频数据。在视频聊天的应用 程序中可利用这一点来获得视频帧，回调函数将捕获的图像传到远端的计算机。应用程 序可用捕获窗来登记回调函数（由用户编写，而由系统调用），以便在发生下列情况时， 它能通知应用程序，作出相应的反应,捕获窗状态改变，出错；视频帧和音频缓存可以使用；在捕获过程中，其它应用程序处于让步（Yield）地位。2.1.2 视频压缩解压缩视频压缩(视频编码)是把数字视频流用更少的数据位进行存放的方法。未经压缩的视频数据量非常大，所以压缩对于数字视频的存储和传输来说都是必须的。图像压缩包括一对互补系统，一个编码器(encoder)和一个解码器(decoder)。编码器利用图像数据之间
13、的相关性。在保证图像质晕的情况下使用较少的数据以传播或存储该图像；而解码器则把压缩后的图像还原出原始的视频数据。视频压缩解压缩采用 MPEG-4 标准。MPEG-4 是为在国际互联网络上或移动通信设备（例如移动电话）上实时传输音/视频讯号而制定的最新 MPEG 标准，MPEG4 采用 ObjectBased 方式解压缩，压缩比指标远远优于以上几种，压缩倍数为 450 倍(静态图像可达800 倍)，分辨率输入可从 320 240 到 1280 1024，这是同质量的 MPEG1 和 MJEPG 的十倍多。MPEG-4 使用图层(layer)方式，能够智能化选择影像的不同之处，是可根据图像内容，
14、将其中的对象（人物、物体、背景）分离出来分别进行压缩，使图文件容量大幅缩减，而加速音/视频的传输，这不仅仅大大提高了压缩比，也使图像探测的功能和准确性更充分的体现出来。在网络传输中可以设定 MPEG-4 的码流速率，清晰度也可在一定的范围内作相应的变化，这样便于用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置， 大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术，动态时快录，静态 时慢录，从而减少平均数据量，节省存储空间。而且当在传输有误码或丢包现象时， MPEG-4 受到的影响很小，并且能迅速恢复。MPEG-4 与 MPEG-1、MPEG-2 以及 H.264 相比，
15、更注重多媒体系统的交互性和灵活性。最显著的差别在于它采用基于对象的编码理念；即在编码时将一幅景物分成若干个在时间和空间上相互联系的视频音频对象，分别编码后经过复用传输到接收端，在接收端再对不同对象分别解码。最后合成所需的视频和音频。这样便于对不同对象进行不同的编码和操作，也有利于不同数据类型间的融合。MPEG-4 的应用前景将是非常广阔的。它的出现将对以下各方面产生较大的推动作用： 数字电视、动态图像、万维网（WWW）、实时多媒体监控、低比特率下的移动多媒体通 信、于内容存储和检索多媒系统、Internet/Intranet 上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD 上的交互多
16、媒体应用、基于计算机网络的可视化合作实验室场景应用、演播电视等。2.1.3 语音的录制、回放我们主要利用线程来处理语音部分的录制、回放。线程是一个独立的执行流，是进程内部的一个独立的执行单元，相当于一个子程序， 它对应于 Visual C+中的 CWinThread 类对象。单独一个执行程序运行时，缺省地包含了一个主线程，主线程以函数地址的形式出现，提供程序的启动点，当主线程终止时， 进程也随之终止。根据实际需要，应用程序可以分解成许多独立执行的线程，每个线程 并行的运行在同一进程中。一个进程中的所有线程都在该进程的虚拟地址空间中，使用 该进程的全局变量和系统资源。操作系统给每个线程分配不同的
17、 CPU 时间片，在某一个时刻，CPU 只执行一个时间片内的线程，多个时间片中的相应线程在 CPU 内轮流执行， 由于每个时间片时间很短，所以对用户来说，仿佛各个线程在计算机中是并行处理的。 操作系统是根据线程的优先级来安排 CPU 的时间，优先级高的线程优先运行，优先级低的线程则继续等待。Windows 提供了两种线程：用户界面线程和工作线程（又称为后台线程）。这里主要介绍用户界面线程的运用。用户界面线程通常用来处理用户的输入并响应各种事件和消息，其实，应用程序的主执行线程 CWinApp 对象就是一个用户界面线程，当应用程序启动时自动创建和启动，同样它的终止也意味着该程序的结束，进程终止。
18、（1） 线程的启动创建一个用户界面线程，首先要从类 CwinThread 产生一个派生类，同时必须使 DECLARE_DYNCREATE 和 IMPLEMENT_DYNCREATE 来声明和实现这个CwinThread 派生类。第二步是根据需要重载该派生类的一些成员函数如：ExitInstance（）、InitInstance（）、OnIdle（）、PreTranslateMessage（）等函数。最后 调 用 AfxBeginThread() 函 数 的 一 个 版 本 ：CWinThread* AfxBeginThread (CRuntimeClass* pThreadClass,int
19、nPriority = THREAD_PRIORITY_NORMAL, UINT nStackSize = 0, DWORD dwCreateFlags = 0, LPSECURITY_ATTRIBUTES lpSecurityAttrs= NULL)启动该用户界面线程，其中第一个参数为指向定义的用户界面线程类指针变量， 第二个参数为线程的优先级，第三个参数为线程所对应的堆栈大小，第四个参数为线程创建时的附加标志，缺省为正常状态，如为 CREATE_SUSPENDED 则线程启动后为挂起状态。（2） 线程的优先级CwinThread 类的成员函数用于线程优先级的操作：int GetThread
20、Priority（）；BOOL SetThradPriority（）(int nPriority)。（3） 线程的挂起和恢复CWinThread 类中包含了应用程序挂起和恢复它所创建的线程的函数，其中 SuspendThread（）用来挂起线程，暂停线程的执行； ResumeThread（）用来恢复线程的执行。如果你对一个线程连续若干次执行SuspendThread（），则需要连续执行相应次的 ResumeThread（）来恢复线程的运行。（4） 结束线程 终止线程有三种途径，线程可以在自身内部调用 AfxEndThread() 来终止自身的运行；可以在线程的外部调用 BOOL Termina
21、teThread(HANDLE hThread, DWORD dwExitCode)来强行终止一个线程的运行，然后调用 CloseHandle（）函数释放线程所占用的堆栈；第三种方法是改变全局变量，使线程的执行函数返回，则该线程终止。2.1.4 视频传输语音视频聊天采用用户数据报协议（User Datagram Protocol）传输协议。UDP 是无连接的网络协议，无连接服务是邮政系统服务的抽象，每个分组都携带有完整的目的地址，各分组在系统中独立传送。无连接服务不能保证分组的先后顺序，不进行分组出错的恢复与重传，不保证传输的可靠性。UDP 协议提供无连接的数据报服务。而 TCP/IP 协议已
22、经很难适应视音频通信，特别是连续的媒体流（如视频流）通信的要求。TCP 协议是面向连接的协议，被用于各种网络上提供有序可靠数据传输的虚电路服务。它的重传机制和拥塞控制机制（Congestion Control Mechanism）都是不适合用于实时视音频传输的。因为 IP 协议只提供无连接、无 QOS 保证的服务，并且只是尽最大努力地传送数据报。当网络带宽不足而造成较长的时延和较多的丢包时，IP 协议并不提供 QOS 反馈2。因此， 需要利用 IP 层之上的协议来满足网络视频实时传输的时延和丢包率的要求。UDP 协议是面向非连接的网络数据协议，在正式通信前不必与对方先建立连接，直接向接收方发送
23、数据，是一种不可靠的通信协议。正是由于 UDP 协议不关心网络数据传输的一系列状态，使得 UDP 协议在数据传输过程中节省了大量的网络状态确认和数据确认的系统资源消耗，大大提高了 UDP 协议的传输速度，且 UDP 无需连接管理，可以支持海量并发连接。但是，视频传输的特点要求传输协议能够处理传输中的延迟和抖动现象， 能够处理突发的视频传送，并且能够根据接收端的接收质量判断网络状况，做出相应的 反馈3。UDP 协议本身并不能很好地处理这些情况。由于 UDP 协议不能可靠传输视频图像，为此在应用层添加如下机制实现视频图像的可靠传输。在发送端和接收端各开一个视频缓冲区，暂存待发送和已接收的数据帧。通
24、过流量控制，可以避免因网络拥塞导致包丢失率增加。通过确认技术，可以实现图像可靠传输。而超时处理可以避免发送端和接收端长时间等待，根据网络当前状况作出相应的反馈。2.2 软硬件环境两台以上电脑，分别配有摄像头、麦克风、音箱或耳机等外部设备；Windows XP 系统，Microsoft Visual Studio 6.0 编程开发系统等。2.3 技术要求语音视频聊天作为一种广泛的网络应用对其基础的承载网络环境有着较高的网络要求。其中应重点考虑的是网络的带宽情况、端到端的时延、丢包率、时延抖动等问题。（1） 网络带宽需求，视频聊天对网络的带宽需求为“视频带宽+IP 包头开销”，计算方法为：网络带宽
25、 = 视频带宽 1.2。（2） 端到端的时延，网络传输不可避免的会发生传输时延，通常建议视频聊天的通用时延小于 150ms。（3） 丢包率，网络数据传输经常会出现丢包现象，视频传输过程中数据丢包严重的话会影响在线视频聊天质量。因此，在设计上应将网络上的丢包率控制在 1%以内。（4） 时延抖动，由于音频/视频的传输为实时的交互，因此网络的时延抖动更为重要， 一般，视频聊天的时延抖动控制在 50ms 内。2.4 系统结构图2.4.1 硬件结构系统该系统采用的是 Client/Client 结构，客户端是两台 PC 机和一个数字摄像头、耳机和麦克风。进行语音视频聊天是客户端与客户端之间直接进行的点对
26、点的连接，它们之间的网络拓扑结构如图 1。在图中，为了简便，没有画出麦克风、音箱或耳机等外部设备。2.4.2 系统功能模块图图 1 网络拓扑结构图语音视频聊天是对整个在线客户端两两之间进行点对点的视频聊天。语音视频聊天包括了视频捕获、视频压缩、解压缩、语音录制、语音回放以及视频传输等。整个系统的功能模块图如图 2 所示。图 2 系统功能模块图2.4.3 系统各模块流程图语音视频聊天流程图如下图 3 所示。在有两个客户在线的情况下，才能进行语音视频聊天。两个用户要进行语音视频聊天时，一个用户选中另一个用户的用户名，根据该用户名在后台链表中的对应 IP 地址查找用户并请求视频连接。当双方确认视频连
27、接后就进行视频传输，并显示在客户端，同时用线程实现语音录制和回放。这样，两个用户就实现了点对点的语音视频聊天。在进行语音视频聊天的过程中，不能再与其它用户进行语音视频聊天，但能够与其它用户进行文字聊天。2.5 数据流图 3语音视频聊天流程图在发送端和接收端各开一个视频缓冲区，暂存待发送和已接收的数据帧。由于无线传输带宽和单片机软硬件资源的限制，压缩后的 JPG 图像(320 240)仍然必须在发送端分割成若干帧，到达接受端时重组。在 LINUX 中，JPG 图像就相当于一个普通文件，可通过 open () 函数打开进行读写。2.5.1 数据帧结构对每帧加上帧头结构,帧头结构定义了序列号,视频压
28、缩格式,时戳。序列号是数据包发送的顺序标记,检测传输中是否有数据丢失,并用在接收端来重新排序。视频压缩格式标记用于接收端采用相应的解码流程。时间戳控制视频回放的时间。帧结构描述如图 4 所示。图 4 数据帧结构图像在传输过程中还涉及到缓冲区、流量控制、确认技术及超时处理等问题。（1） 缓冲区。由于发送端存在重发数据帧的可能，接收端有可能收到乱序的数据帧， 故发送端和接收端确定一个视频传输缓冲区，大小为 65 536 (可根据要传送的图像大小适当调整) 字节。发送端首先把一幅 jpg 图像数据一次性写入缓冲区，将其分解为若干数据帧，各帧按照序号递增的顺序从 1 依次编号，使得每一帧的大小不超过
29、2 048 字节， 称为一个数据帧。接收端收到完整的一幅 JPG 图像数据后再一次性写入图像文件中。（2） 流量控制。UDP 借鉴 TCP 协议流量控制机制：慢启动和线性增长成倍减少过程。在连接建立后的慢启动过程中，先将发送方窗口置为最小值，每当成功传送完窗口中的 数据后，就成倍地增大窗口，直到某个阈值。这就保证了网络流量不会突然增大，为其 他连接留有余地。（3） 确认技术。在可靠数据传递协议中保证数据可靠传递的基本就是要使用确认技术。为了更好地控制流量，达到最大限度地利用网络资源的目的,可采用捎带确认、累计确认和超时确认以及扩展确认这几种方式结合来实现确认。其中前 3 种确认方式和 TCP
30、中的用法一致。在接收方收到失序数据包时，为了最大限度地减少重传，并不是简单将其丢弃，而是将其存储在本地的失序缓冲队列中，并设置失序包计数器。接收方在计数器超过阈值或者确认定时器超时后向发送方发送扩展确认数据包。该数据包中携带本端已经收到的最大按序包序号和收到的所有失序包的序号信息。发送端收到由接收端传来的扩展确认数据包后，将根据最大确认序号和对端收到的失序包的序号计算出应该重传的数据包序号,并从重传队列中取出相应的数据包进行快速重传。（4） 超时处理。处理超时和重传的方法之一就是发送一个请求后等待 n 秒,如果没有收到应答,则重传并再等待另外 N 秒。这是一种线性重传的定时器,并且在重传一定次
31、数后就放弃重传。这种办法的问题是,数据报在一个互联网上往返的时间( RTT) 会从 LAN 上的远远小到 1 s 变成 WAN 上的许多秒。影响往返时间(RTT) 的因素是距离、网络速度和拥塞,当网络条件变化时,客户和服务器之间的 RTT 会随着时间很快地变化。因此,必须设计一个将实际测得的 RTT 以及 RTT 随时间变化考虑在内的超时和重传算法。计算发送每个数据报的重传超时( RTO) 的公式为：delta = RTT - srt tsrt t srtt + g deltart tvar rt tvar + h (| delta| - rt tvar)RTO = srtt + 4 rt t
32、var其中，RTT 为数据报的实际往返时间； srtt 为平滑了的 RTT 估计因子；rttvar 为平滑了的平均偏差估计因子；delta 为测得的 RTT 和当前平滑了的 RTT 估计因子(srtt) 之间的差；g 为施加在 RTT 估计因子上的增益因子，值为 1/ 8； h 为施加在平均偏差估计因子上的增益因子，值为 1/ 4。当重传定时器超时的时候，对下一个 RTO 要用一个指数退回。例如，如果 RTO 是 2 s ，这段时间内应答没有收到，则下一个 RTO 是 4 s ；如果仍没有收到，下一个 RT0 是 8 s ，接着是 16 s ，依此类推。2.5.2 视频图像数据传输过程以一幅图
