AnyChat视频音频知识整理.docx
- 文档编号:6344607
- 上传时间:2023-05-09
- 格式:DOCX
- 页数:27
- 大小:51.26KB
AnyChat视频音频知识整理.docx
《AnyChat视频音频知识整理.docx》由会员分享,可在线阅读,更多相关《AnyChat视频音频知识整理.docx(27页珍藏版)》请在冰点文库上搜索。
AnyChat视频音频知识整理
视频基础知识:
一:
视频编解码原理:
通过压缩与解压缩的方式,将模拟视频流经过压缩转为数字视频流通过网络进行传输。
视频CODEC包含“视频编码器”和“视频解码器”两种类型,可分别实现,视频编码器实现将视频帧数据(YUV420P)编码为视频流,视频解码器实现将编码后的数据包解码为视频帧数据(YUV420P)。
二:
常见视频编解码标准:
1:
H.264(佰锐运用的)
2:
MPEG系列
3:
H.26X系列
4:
AVS系列
5:
DVD系列
6:
WindowsMedia系列
7:
QuickTime系列
8:
Ogg系列
9:
On2系列
具体介绍:
常用的视频编解码标准
很多视频编解码器可以很容易的在个人计算机和消费电子产品上实现,这使得在这些设备上有可能同时实现多种视频编解码器,这避免了由于兼容性的原因使得某种占优势的编解码器影响其它编解码器的发展和推广。
最后我们可以说,并没有那种编解码器可以替代其它所有的编解码器。
下面是一些常用的视频编解码器。
一:
H.264
MPEG-4第十部分(H.264):
性能最优的视频编码标准(佰锐公司运用的)
H.264是ITU-T以H.26x系列为名称命名的视频编解码技术标准之一。
目前国际上制定视频编解码技术的组织有两个,一个是“国际电联(ITU-T)”,它制定的标准有H.261、H.263、H.263+等,另一个是“国际标准化组织(ISO)”它制定的标准有MPEG-1、MPEG-2、MPEG-4等。
而H.264则是由两个组织联合组建的联合视频组(JVT)共同制定的新数字视频编码标准,所以它既是ITU-T的H.264,又是ISO/IEC的MPEG-4高级视频编码(AdvancedVideoCoding,AVC),而且它将成为MPEG-4标准的第10部分。
因此,不论是MPEG-4AVC、MPEG-4Part10,还是ISO/IEC14496-10,都是指H.264。
H.264是ITU-T的VCEG(视频编码专家组)和ISO/IEC的MPEG(活动图像编码专家组)的联合视频组(JVT:
jointvideoteam)开发的一个新的数字视频编码标准,它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分。
1998年1月份开始草案征集,1999年9月,完成第一个草案,2001年5月制定了其测试模式TML-8,2002年6月的JVT第5次会议通过了H.264的FCD板。
2003年3月正式发布。
在2005年又开发出了H.264的更高级应用标准MVC和SVC版本。
特征优势
H.264是国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的继MPEG4之后的新一代数字视频压缩格式,它即保留了以往压缩技术的优点和精华又具有其他压缩技术无法比拟的许多优点。
1.低码率(LowBitRate):
和MPEG2和MPEG4ASP等压缩技术相比,在同等图像质量下,采用H.264技术压缩后的数据量只有MPEG2的1/8,MPEG4的1/3。
显然,H.264压缩技术的采用将大大节省用户的下载时间和数据流量收费。
2.高质量的图象:
H.264能提供连续、流畅的高质量图象(DVD质量)。
3.容错能力强:
H.264提供了解决在不稳定网络环境下容易发生的丢包等错误的必要工具。
4.网络适应性强:
H.264提供了网络抽象层(NetworkAbstractionLayer),使得H.264的文件能容易地在不同网络上传输(例如互联网,CDMA,GPRS,WCDMA,CDMA2000等)。
H.264最大的优势是具有很高的数据压缩比率,在同等图像质量的条件下,H.264的压缩比是MPEG-2的2倍以上,是MPEG-4的1.5~2倍。
举个例子,原始文件的大小如果为88GB,采用MPEG-2压缩标准压缩后变成3.5GB,压缩比为25∶1,而采用H.264压缩标准压缩后变为879MB,从88GB到879MB,H.264的压缩比达到惊人的102∶1。
低码率(LowBitRate)对H.264的高的压缩比起到了重要的作用,和MPEG-2和MPEG-4ASP等压缩技术相比,H.264压缩技术将大大节省用户的下载时间和数据流量收费。
尤其值得一提的是,H.264在具有高压缩比的同时还拥有高质量流畅的图像,正因为如此,经过H.264压缩的视频数据,在网络传输过程中所需要的带宽更少,也更加经济。
H.264标准的主要特点如下:
1.更高的编码效率:
同H.263等标准的特率效率相比,能够平均节省大于50%的码率。
2.高质量的视频画面:
H.264能够在低码率情况下提供高质量的视频图像,在较低带宽上提供高质量的图像传输是H.264的应用亮点。
3.提高网络适应能力:
H.264可以工作在实时通信应用(如视频会议)低延时模式下,也可以工作在没有延时的视频存储或视频流服务器中。
4.采用混合编码结构:
同H.263相同,H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结构,还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式,提高了编码效率。
5.H.264的编码选项较少:
在H.263中编码时往往需要设置相当多选项,增加了编码的难度,而H.264做到了力求简洁的“回归基本”,降低了编码时复杂度。
6.H.264可以应用在不同场合:
H.264可以根据不同的环境使用不同的传输和播放速率,并且提供了丰富的错误处理工具,可以很好的控制或消除丢包和误码。
7.错误恢复功能:
H.264提供了解决网络传输包丢失的问题的工具,适用于在高误码率传输的无线网络中传输视频数据。
8.较高的复杂度:
264性能的改进是以增加复杂性为代价而获得的。
据估计,H.264编码的计算复杂度大约相当于H.263的3倍,解码复杂度大约相当于H.263的2倍。
H264标准各主要部分有AccessUnitdelimiter(访问单元分割符),SEI(附加增强信息),primarycodedpicture(基本图像编码),RedundantCodedPicture(冗余图像编码)。
还有InstantaneousDecodingRefresh(IDR,即时解码刷新)、HypotheticalReferenceDecoder(HRD,假想参考解码)、HypotheticalStreamScheduler(HSS,假想码流调度器)。
.
二:
MPEG-1第二部分
MPEG-1第二部分主要使用在VCD上,有些在线视频也使用这种格式。
该编解码器的质量大致上和原有的VHS录像带相当,但是值得注意的是VCD属于数字视频技术,它不会像VHS录像带一样随着播放的次数和时间而逐渐损失质量。
如果输入视频源的质量足够好,编码的码率足够高,VCD可以给出从各方面看都比VHS要高的质量。
但是为了达到这样的目标,通常VCD需要比VHS标准要高的码率。
实际上,如果考虑到让所有的VCD播放机都可以播放,高于1150kbps的视频码率或者高于352x288的视频分辨率都不能使用。
大体来说,这个限制通常仅仅对一些单体的VCD播放机(包括一些DVD播放机)有效。
MPEG-1第三部分还包括了目前常见的*.mp3音频编解码器。
如果考虑通用性的话,MPEG-1的视频/音频编解码器可以说是通用性最高的编解码器,几乎世界上所有的计算机都可以播放MPEG-1格式的文件。
几乎所有的DVD机也支持VCD的播放。
从技术上来讲,比起H.261标准,MPEG-1增加了对半像素运动补偿和双向运动预测帧。
和H.261一样,MPEG-1只支持逐行扫描的视频输入。
三:
MPEG-2第二部分
MPEG-2第二部分等同于H.262,使用在DVD、SVCD和大多数数字视频广播系统和有线分布系统(cabledistributionsystems)中。
当使用在标准DVD上时,它支持很高的图像质量和宽屏;当使用在SVCD时,它的质量不如DVD但是比VCD高出许多。
但是不幸的是,SVCD最多能在一张CD光盘上容纳40分钟的内容,而VCD可以容纳一个小时,也就是说SVCD具有比VCD更高的平均码率。
MPEG-2也将被使用在新一代DVD标准HD-DVD和Blu-ray(蓝光光盘)上。
从技术上来讲,比起MPEG-1,MPEG-2最大的改进在于增加了对隔行扫描视频的支持。
MPEG-2可以说是一个相当老的视频编码标准,但是它已经具有很大的普及度和市场接受度。
四:
H.263
H.263主要用在视频会议、视频电话和网络视频上。
在对逐行扫描的视频源进行压缩的方面,H.263比它之前的视频编码标准在性能上有了较大的提升。
尤其是在低码率端,它可以在保证一定质量的前提下大大的节约码率。
五:
MPEG-4第二部分
MPEG-4第二部分标准可以使用在网络传输、广播和媒体存储上。
比起MPEG-2和第一版的H.263,它的压缩性能有所提高。
和之前的视频编码标准的主要不同点在于,“物件導向”(Object-oriented)的编码方法和一些其它并非用于提高通常视频编码压缩率的技术。
当然它也引入了一些提高压缩能力的技术,包括一些H.263的技术和1/4像素的运动补偿。
和MPEG-2一样,它同时支持逐行扫描和隔行扫描。
六:
H.261
H.261主要在老的视频会议和视频电话产品中使用。
H.261是由ITU-T开发的,第一个使用的数字视频压缩标准。
实质上说,之后的所有的标准视频编解码器都是基于它设计的。
它使用了常见的YCbCr颜色空间,4:
2:
0的色度抽样格式,8位的抽样精度,16x16的宏块,分块的运动补偿,按8x8分块进行的离散余弦变换,量化,对量化系数的Zig-zag扫描,run-level符号影射以及霍夫曼编码。
H.261只支持逐行扫描的视频输入。
七:
AVS
AVS是中国制定的音视频压缩编码标准,故准确来说,其不仅仅包括视频编码标准。
它最主要的目的是通过采用与H.264不同的专利授权方式,来避免付出大笔的专利授权费用。
在技术上,AVS的视频编码部分采用的技术与H.264非常相似,但采取了一些简化措施。
这样做,其一可以回避一些非必要专利,另外据称也可以在几乎不影响编码压缩效率的基础上,提高编解码速度。
八:
DivX,XviD和3ivx
DivX,XviD和3ivx视频编解码器基本上使用的都是MPEG-4第二部分的技术,以后缀*.avi,*.mp4,*.ogm或者*.mkv结尾的文件有一部分是使用这些视频编解码器的。
九:
WMV
WMV(WindowsMediaVideo)是微软公司的视频编解码器家族,包括WMV7、WMV8、WMV9、WPV10。
这一族的编解码器可以应用在从拨号上网的窄带视频到高清晰度电视(HDTV)的宽带视频。
使用WindowsMediaVideo用户还可以将视频文件刻录到CD、DVD或者其它一些设备上。
它也适用于用作媒体服务器。
WMV可以被看作是MPEG-4的一个增强版本。
最新的WMV的版本是正在SMPTE制定中的VC-1标准。
WMV-9(VC-1,开发代号为“Corona”)刚推出的时候称为VC-9,之后才被电影电视工程师协会(SMPTE)改称为VC-1(VC指VideoCodec)。
技术上,VC-1也与H.264有诸多相似之处。
十:
RealVideo
RealVideo是由RealNetworks公司开发的视频编解码器。
近几年曾经有段时间的低迷,之后又获得市场的青睐。
最近尤其在BT电影界格外受宠。
十一:
Sorenson3
Sorenson3是由苹果公司的软件QuickTime使用的一种编解码器。
很多因特网上的QuickTime格式的视频都是这种编解码器压缩的。
十二:
Cinepak
Cinepak同样是由苹果公司的软件QuickTime使用的一种很老的编解码器,好处是即使很老的计算机(如486)也都支援并且能顺利播放。
十三:
IndeoVideo
IndeoVideoIndeoVideo是由Intel所研發的编解码器。
三:
常见视频参数
1:
分辨率
分辨率就是屏幕图像的精密度,是指显示器所能显示的像素的多少。
常见分辨率
176x144
320x240
640x400
640x480
800x480
800x600
1024x600
1024x768
1280x720
1280x1024
1400x1050
1600x1200
1920x1200
2048x1536
2560x2048
3200x2400
250P,360P,720P,1080P这些规格指的是画面的清晰度
250P对应320x250
360P对应480x360
720P对应1280x720
1080P对应1920x1080
2:
码率(比特率)
码率也叫比特率,表示经过压缩编码后的视音频数据每秒需要用多少个比特来表示,即把每秒显示的图像进行压缩后的数据量,一般采用的单位是kbps即千位每秒。
码率是每秒播放多少KB,以KB/S为单位,通常情况下:
1920*1080分辨率的视频,码率应该在8M以上。
1080*720的分辨率,应该在5M左右
720*576分辨率,应该在3M左右
640*480分辨率,应该在1.5M左右
320*240的分辨率,应该在600K左右。
3:
帧率
帧率(Framerate)是用于测量显示帧数的量度。
所谓的测量单位为每秒显示帧数(FramesperSecond,简称:
FPS)或“赫兹”(Hz)。
每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数。
高的帧率可以得到更流畅、更逼真的动画。
一般来说30fps就是可以接受的,但是将性能提升至60fps则可以明显提升交互感和逼真感,但是一般来说超过75fps一般就不容易察觉到有明显的流畅度提升了。
我们公司视频的帧率选择有以下几种
5FPS
8FPS
12FPS
15FPS
20FPS
25FPS
30FPS
同样分辨率下,视频文件的码流越大,压缩比就越小,画面质量就越高
采样率
在模拟视频中,采样率定义为帧频和场频,而不是概念上的像素时钟。
图像采样频率是传感器积分周期的循环速度。
由于积分周期远远小于重复所需时间,采样频率可能与采样时间的倒数不同。
50Hz-PAL视频
60/1.001Hz-NTSC视频
当模拟视频转换为数字视频的时候,出现另外一种不同的采样过程,这次是使用像素频率。
一些常见的像素采样率有:
13.5MHz-CCIR601、D1video
四:
视频传输协议
RTP,TCP/UDP
RTP(Real-TimeTransportProtocol)/RTCP(Real-TimeTransportControlProtocol)是一种应用型的传输层协议,它并不提供任何传输可靠性的保证和流量的拥塞控制机制。
它是由IETF(InternetEngineeringTaskForce)为视音频的实时传输而设计的传输协议。
RTP协议位于UDP协议之上,在功能上独立于下面的传输层(UDP)和网络层,但不能单独作为一个层次存在,通常是利用低层的UDP协议对实时视音频数据进行组播(Multicast)或单播(Unicast),从而实现多点或单点视音频数据的传输。
RTP协议被设计成能够为某种特定的应用提供服务的一种协议。
实际上,RTP协议的实现已经被融合到应用程序中来。
RTP没有连接的概念,它既可以建立在面向连接的底层协议上,也可以建立在面向无连接的底层协议上,因此RTP协议对传输层是独立的。
RTP协议一般由两个部分组成:
数据报文部分(RTP报文)和控制报文部分(RTCP)。
UDP是一种无连接的数据报投递服务,虽然没有TCP那么可靠,并且无法保证实时视音频传输业务的服务质量(QoS),需要RTCP实时监控数据传输和服务质量,但是,由于UDP的传输延时低于TCP,能与音频和视频流很好地匹配。
因此,在实际应用中,RTP/RTCP/UDP用于音视频媒体,而TCP用于数据和控制信令的传输。
五:
影响视频质量的因素
(1)编码/压缩的性能
影响音/视频流的压缩/编码性能的因素很多,首先是压缩效率。
压缩效率要求在保证一定音/视频质量的前提下,媒体流的码流速率尽量低。
其次是编码的冗余性和可靠性。
与普通的多媒体文件压缩/编码不同的是,流媒体文件需要在网络上实时传输,因此必须考虑传输中数据丢失对解码质量的影响。
为了解决这个问题,采用了一些先进的编码技术,例如错误弹性编码(ErrorResilientEncoding):
在编码中通过适当的控制使得发生数据丢失后能够最大限度地减少对质量的影响。
AnyChat采用国际领先的视频编码标准H.264(MPEG-4part10AVC/H.264)编码,H.264/AVC在压缩效率方面有着特殊的表现,一般情况下达到MPEG-2及MPEG-4简化类压缩效率的大约2倍。
H.264具有许多与旧标准不同的新功能,它们一起实现了编码效率的提高。
特别是在帧内预测与编码、帧间预测与编码、可变矢量块大小、四分之一像素运动估计、多参考帧预测、自适应环路去块滤波器、整数变换、量化与变换系数扫描、熵编码、加权预测等实现上都有其独特的考虑。
(2)服务器性能
随着流媒体规模的扩大,流媒体服务器的性能成为制约流媒体服务扩展能力的重要因素。
流媒体服务器性能的关键指标是流输出能力和能同时支持的并发请求数量。
影响流媒体服务器性能的因素很多,包括CPU能力,I/O总线,存储带宽等。
通常,单个流媒体服务器的并发数都在几百以内,因此,为了具有更好的性能,目前的高性能流媒体服务器都采用大规模并行处理的结构,例如采用超立方体的结构将各个流媒体服务单元连接起来。
还有一种方法是采用简单的PC集群的方式,这种方式下多个PC流媒体服务器用局域网连接,前端采用内容交换/负载均衡器将流媒体服务的请求分布到各个PC媒体服务单元。
后一种方式性能较前一种方式低,但是成本低,容易实现。
AnyChat针对可不经过服务器中转的音视频应用,采用了P2P通信技术,该技术的核心在于防火墙的穿越。
使用P2P通信技术,可以大大的减轻系统服务器的负荷,并成几何倍数的扩大系统的容量,且并不会因为在线用户数太多而导致服务器的网络阻塞。
(3)媒体流传输的质量控制
这是制约流媒体性能的最重要的因素。
由于流媒体传输对网络带宽、延迟、丢失率等都有很高的要求,而基于无连接的包交换IP网络对带宽资源和服务质量的控制能力都比较弱,因此,在IP网络上进行流媒体传输需要采用一些应用层的质量控制机制来解决传输中的问题。
这些质量控制机制可以分为几个层次:
最常用的方式是采用速率适应机制,基本的方法是通过一定的速率反馈机制,利用媒体流的速率层次编码能力,在媒体服务器端动态地调节流媒体的传输速率,保证客户端在网络可用带宽变化的时候也能够正常地收看流媒体内容。
速率适应机制附以差错控制和冗余控制能够有效地保证流媒体的正常收看。
目前流媒体的主流产品都具备应用层的速率适应能力。
六:
视频会议基本原理
视频会议也称为会议电视、视讯会议,是利用计算机技术和通信设备通过传输信道在两点或多个地点之间建立可视通信,实现数据、语音及图像交流的一种会议形式。
与会者不仅能看到对方的会场和发言人,而且可以听到对方的声音,如果再辅以书写电话和电子白板等设备,就可与对方会场的与会人员进行问题研讨,这和现场会议的效果基本一样。
该会议系统利用计算机强大的信息处理能力,有效地进行了协同工作,在一定程度上取代了传统会议模式,是一种快速高效、经济方便且应用广泛的新工具
视频会议终端设备将视频、音频、数据和信令等各种数字信号分别进行处理后组合成一路复合的数字码流,再将它转变为用户-网络接口兼容的,符合传输网络所规定的信道帧结构的信号格式送上信道进行传输。
完成用户视频、音频和数据信号的输入与输出功能。
七:
视频监控基本原理
前端摄像机采集图像信号,然后通过线缆将信号转至存储设备和管理设备并通过键盘管理显示图像
八:
视频采集
视频采集(VideoCapture)把模拟视频转换成数字视频,并按数字视频文件的格式保存下来。
所谓视频采集就是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号,通过专用的模拟、数字转换设备,转换为二进制数字信息的过程
音频基础知识
(要点:
音频编解码原理、常见音频编解码标准、音频采样、常见音频参数、影响音频质量的因素)
一:
音频编解码原理
音频CODEC包含“音频编码器”和“音频解码器”两种类型,可分别实现,音频编码器实现将音频采样数据(PCM)编码为音频流,音频解码器实现将编码后的数据包解码为PCM采样数据。
二:
常见音频编解码标准
AAC(AdvancedAudioCoding,先进音频编码)(公司运用的)
类型:
Audio
制定者:
MPEG
所需频宽:
96-128kbps
特性:
AAC可以支持1到48路之间任意数目的音频声道组合、包括15路低频效果声道、配音/多语音声道,以及15路数据。
它可同时传送16套节目,每套节目的音频及数据结构可任意规定。
AAC主要可能的应用范围集中在因特网网络传播、数字音频广播,包括卫星直播和数字AM、以及数字电视及影院系统等方面。
AAC使用了一种非常灵活的熵编码核心去传输编码频谱数据。
具有48个主要音频通道,16个低频增强通道,16个集成数据流,16个配音,16种编排。
优点:
支持多种音频声道组合,提供优质的音质
应用领域:
voip
备注:
AAC于1997年形成国际标准ISO13818-7。
先进音频编码(AdvancedAudioCoding--AAC)开发成功,成为继MPEG-2音频标准(ISO/IEC13818-3)之后的新一代音频压缩标准。
在MPEG-2制订的早期,本来是想将其音频编码部分保持与MPEG-1兼容的。
但后来为了适应演播电视的要求而将其定义成为一个可以获得更高质量的多声道音频标准。
理所当然地,这个标准是不兼容MPEG-1的,因此被称为MPEG-2AAC。
换句话说,从表面上看,要制作和播放AAC,都需要使用与MP3完全不同的工具。
PCM编码(原始数字音频信号流)
类型:
Audio
制定者:
ITU-T
所需频宽:
1411.2Kbps
特性:
音源信息完整,但冗余度过大
优点:
音源信息保存完整,音质好
缺点:
信息量大,体积大,冗余度过大
WMA(WindowsMediaAudio)
类型:
Audio
制定者:
微软公司
所需频宽:
320~112kbps(压缩10~12倍)
特性:
当Bitrate小于128K时,WMA几乎在同级别的所有有损编码格式中表现得最出色,但似乎128k是WMA一个槛,当Bitrate再往上提升时,不会有太多的音质改变。
优点:
当Bitrate小于128K时,WMA最为出色且编码后得到的音频文件很小。
缺点:
当Bitrate大于128K时,WMA音质损失过大。
WMA标准不开放,由微软掌握。
PCMU(G.711U)
类型:
Audio
制定者:
ITU-T
所需频宽:
64Kbps(90.4)
特性:
PCMU和PCMA都能提供较好的语音质量,但是它们占用的带宽较高,需要64kbps。
优点:
语音质量优
缺点:
占用的带宽较
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- AnyChat 视频 音频 知识 整理