ts流解析规则.docx
- 文档编号:15004728
- 上传时间:2023-06-29
- 格式:DOCX
- 页数:13
- 大小:63.71KB
ts流解析规则.docx
《ts流解析规则.docx》由会员分享,可在线阅读,更多相关《ts流解析规则.docx(13页珍藏版)》请在冰点文库上搜索。
ts流解析规则
HLS,Http Live Streaming 是由Apple公司定义的用于实时流传输的协议,HLS基于HTTP协议实现,传输内容包括两部分,一是M3U8描述文件,二是TS媒体文件。
1、M3U8文件
用文本方式对媒体文件进行描述,由一系列标签组成。
#EXTM3U
#EXT-X-TARGETDURATION:
5
#EXTINF:
5,
./0.ts
#EXTINF:
5,
./1.ts
#EXTM3U:
每个M3U8文件第一行必须是这个tag。
#EXT-X-TARGETDURATION:
指定最大的媒体段时间长度(秒),#EXTINF中指定的时间长度必须小于或等于这个最大值。
该值只能出现一次。
#EXTINF:
描述单个媒体文件的长度。
后面为媒体文件,如./0.ts
2、ts文件
ts文件为传输流文件,视频编码主要格式h264/mpeg4,音频为acc/MP3。
ts文件分为三层:
ts层TransportStream、pes层PacketElementalStream、es层ElementaryStream.es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识别和传输必须的信息
注:
详解如下
(1)ts层 ts包大小固定为188字节,ts层分为三个部分:
tsheader、adaptationfield、payload。
tsheader固定4个字节;adaptationfield可能存在也可能不存在,主要作用是给不足188字节的数据做填充;payload是pes数据。
tsheader
sync_byte
8b
同步字节,固定为0x47
transport_error_indicator
1b
传输错误指示符,表明在ts头的adapt域后由一个无用字节,通常都为0,这个字节算在adapt域长度内
payload_unit_start_indicator
1b
负载单元起始标示符,一个完整的数据包开始时标记为1
transport_priority
1b
传输优先级,0为低优先级,1为高优先级,通常取0
pid
13b
pid值
transport_scrambling_control
2b
传输加扰控制,00表示未加密
adaptation_field_control
2b
是否包含自适应区,‘00’保留;‘01’为无自适应域,仅含有效负载;‘10’为仅含自适应域,无有效负载;‘11’为同时带有自适应域和有效负载。
continuity_counter
4b
递增计数器,从0-f,起始值不一定取0,但必须是连续的
ts层的内容是通过PID值来标识的,主要内容包括:
PAT表、PMT表、音频流、视频流。
解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。
PAT表的PID值固定为0。
PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。
PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。
∙
PAT表:
他主要的作用就是指明了PMT表的PID值。
∙
∙
PMT表:
他主要的作用就是指明了音视频流的PID值。
∙
∙
音频流/视频流:
承载音视频内容。
∙
adaption
adaptation_field_length
1B
自适应域长度,后面的字节数
flag
1B
取0x50表示包含PCR或0x40表示不包含PCR
PCR
5B
ProgramClockReference,节目时钟参考,用于恢复出与编码端一致的系统时序时钟STC(SystemTimeClock)。
stuffing_bytes
xB
填充字节,取值0xff
自适应区的长度要包含传输错误指示符标识的一个字节。
pcr是节目时钟参考,pcr、dts、pts都是对同一个系统时钟的采样值,pcr是递增的,因此可以将其设置为dts值,音频数据不需要pcr。
如果没有字段,ipad是可以播放的,但vlc无法播放。
打包ts流时PAT和PMT表是没有adaptationfield的,不够的长度直接补0xff即可。
视频流和音频流都需要加adaptationfield,通常加在一个帧的第一个ts包和最后一个ts包里,中间的ts包不加。
PAT格式
table_id
8b
PAT表固定为0x00
section_syntax_indicator
1b
固定为1
zero
1b
固定为0
reserved
2b
固定为11
section_length
12b
后面数据的长度
transport_stream_id
16b
传输流ID,固定为0x0001
reserved
2b
固定为11
version_number
5b
版本号,固定为00000,如果PAT有变化则版本号加1
current_next_indicator
1b
固定为1,表示这个PAT表可以用,如果为0则要等待下一个PAT表
section_number
8b
固定为0x00
last_section_number
8b
固定为0x00
开始循环
program_number
16b
节目号为0x0000时表示这是NIT,节目号为0x0001时,表示这是PMT
reserved
3b
固定为111
PID
13b
节目号对应内容的PID值
结束循环
CRC32
32b
前面数据的CRC32校验码
PMT格式
table_id
8b
PMT表取值随意,0x02
section_syntax_indicator
1b
固定为1
zero
1b
固定为0
reserved
2b
固定为11
section_length
12b
后面数据的长度
program_number
16b
频道号码,表示当前的PMT关联到的频道,取值0x0001
reserved
2b
固定为11
version_number
5b
版本号,固定为00000,如果PAT有变化则版本号加1
current_next_indicator
1b
固定为1
section_number
8b
固定为0x00
last_section_number
8b
固定为0x00
reserved
3b
固定为111
PCR_PID
13b
PCR(节目参考时钟)所在TS分组的PID,指定为视频PID
reserved
4b
固定为1111
program_info_length
12b
节目描述信息,指定为0x000表示没有
开始循环
stream_type
8b
流类型,标志是Video还是Audio还是其他数据,h.264编码对应0x1b,aac编码对应0x0f,mp3编码对应0x03
reserved
3b
固定为111
elementary_PID
13b
与stream_type对应的PID
reserved
4b
固定为1111
ES_info_length
12b
描述信息,指定为0x000表示没有
结束循环
CRC32
32b
前面数据的CRC32校验码
(2)pes层
pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我们只留下最常用的。
pesstartcode
3B
开始码,固定为0x000001
streamid
1B
音频取值(0xc0-0xdf),通常为0xc0
视频取值(0xe0-0xef),通常为0xe0
pespacketlength
2B
后面pes数据的长度,0表示长度不限制,
只有视频数据长度会超过0xffff
flag
1B
通常取值0x80,表示数据不加密、无优先级、备份的数据
flag
1B
取值0x80表示只含有pts,取值0xc0表示含有pts和dts
pesdatalength
1B
后面数据的长度,取值5或10
pts
5B
33bit值
dts
5B
33bit值
pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。
有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。
如果一个视频没有B帧,则pts永远和dts相同。
从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。
dts算法比较简单,初始值+增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。
音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。
打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。
举例说明:
I P B B B P
读取顺序:
1 2 3 4 5 6
dts顺序:
1 2 3 4 5 6
pts顺序:
1 5 3 2 4 6
点播视频dts算法:
dts=初始值+ 90000/video_frame_rate,初始值可以随便指定,但是最好不要取0,video_frame_rate就是帧率,比如23、30。
pts和dts是以timescale为单位的,1s=90000timescale,一帧就应该是90000/video_frame_rate个timescale。
用一帧的timescale除以采样频率就可以转换为一帧的播放时长
点播音频dts算法:
dts=初始值+ (90000*audio_samples_per_frame)/audio_sample_rate,audio_samples_per_frame这个值与编解码相关,aac取值1024,mp3取值1158,audio_sample_rate是采样率,比如24000、41000。
AAC一帧解码出来是每声道1024个sample,也就是说一帧的时长为1024/sample_rate秒。
所以每一帧时间戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。
直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。
(3)es层
es层指的就是音视频数据,我们只介绍h.264视频和aac音频。
h.264视频:
打包h.264数据我们必须给视频数据加上一个nalu(NetworkAbstractionLayerunit),nalu包括naluheader和nalutype,naluheader固定为0x00000001(帧开始)或0x000001(帧中)。
h.264的数据是由slice组成的,slice的内容包括:
视频、sps、pps等。
nalutype决定了后面的h.264数据内容。
F
1b
forbidden_zero_bit,h.264规定必须取0
NRI
2b
nal_ref_idc,取值0~3,指示这个nalu的重要性,I帧、sps、pps通常取3,P帧通常取2,B帧通常取0
Type
5b
参考下表
nal_unit_type
说明
0
未使用
1
非IDR图像片,IDR指关键帧
2
片分区A
3
片分区B
4
片分区C
5
IDR图像片,即关键帧
6
补充增强信息单元(SEI)
7
SPS序列参数集
8
PPS图像参数集
9
分解符
10
序列结束
11
码流结束
12
填充
13~23
保留
24~31
未使用
红色字体显示的内容是最常用的,打包es层数据时pes头和es数据之间要加入一个type=9的nalu,关键帧slice前必须要加入type=7和type=8的nalu,而且是紧邻。
一、背景介绍
之前我做了一个项目,要求写一个TS流解析的模块,因此看了ISOIEC13818-1文档,外加很多人的博客来帮助理解,来了解TS流格式是个什么东西,收货颇多。
因此我觉得是时候发点干货回馈社会了。
二,TS流背景介绍
在介绍具体字段,参数这些头疼,烦人的东西之前,我觉得有必要先介绍下TS流的应用背景,有了这个概念,再去深入学习,将如虎添翼。
TS流最经典的应用就是我们平时生活中的数字高清电视。
我们看的电视码流就是TS封装格式的码流,电视码流发送过来后,就会由我们的机顶盒进行解封装,解码,然后传给电视机进行播放。
这里就有一个问题,我们看电视,有很多的频道,节目,对应码流是怎么区分的呢?
(TIPS,频道和节目的关系,比如我们有中央电视台综合频道,下属CCTV-1~CCTV14这些节目)TS流引入了PAT和PMT两张表格的概念来解决这个问题。
三,PAT和PMT
TS流是以每188字节为一包,我们可以称为tspacket。
这个tspacket有可能是音视频数据,也有可能是表格。
举例说明,TS流的包顺序为:
PAT,PMT,DATA,DATA,,,,,,PAT,PMT,DATA,DATA,,,,,,
每隔一段时间,发送一张PAT表,紧接着发送一张PMT表,接着发送DATA(音视频)数据。
那么你可能要问了,有了这2张表格怎么区分频道,节目呢?
PAT表格里面包含所有PMT表格的信息,一个PMT表格对应一个频道,比如中央电视台综合频道。
而一个PMT里面包含所有节目的信息,比如CCTV1~CCTV14。
在实际情况中我们是有很多频道的,所以PMT表格可不止一张,有可能是PAT,PMT,PMT,PMT,,,DATA,DATA,,,,PAT,PMT,PMT,,,DATA,DATA这样的形式。
除了这个设定外,每个频道或节目都有自己的标识符(PID),这样当我们拿到一个DATA,解析出里面的PID,就知道是什么节目,并且也知道所属频道是什么了。
我们看电视的时候,会收到所有节目的DATA,当我们正在看某个节目的时候,机顶盒会把这个节目的DATA单独过滤出来,其它的舍弃。
四,tspacket格式讲解
tspacket我们知道一包是188字节,它分为tsheader和tsbody。
其中tsheader里面会有个PID字段标识着当前tsbody的类型。
tsbody有可能是表格,也有可能是DATA,表格没什么好说的,我们说下DATA的结构。
DATA包
其实就是PES包,而PES包是对ES的封装,PES包分为PES头加ES。
这里的ES是原始流,是指经过压缩后的H264,aac等格式的音视频数据。
那么帧数据,PES包,tspacket包的对应关系是什么样的呢?
一帧数据封装成一个PES包(含PES头和ES),这个PES包如果小于188字节,那么一个tspacket就可以放下了。
最终tspacket一包的格式就是tsheader+填充字节+PES包(PES头+ES)。
填充字节的意思是如果tsheader加上PES包不满188字节,这个时候肯定要填充下使其凑满188字节发送。
是不是很简单?
那么我们知道视频帧是很大的,往往大于188字节,这个时候怎么存放呢?
还是把一个视频帧放入一个PES包。
然后分别放在几个tspacket包即可。
结构如下:
第一个tspacket:
tsheader+PES头+部分ES
第二个tspacket:
tsheader+部分ES
...
最后一个tspacket:
tsheader+填充字节+部分ES
PES头加上这些部分ES,就是一个PES包。
五,具体字段解析
具体字段请参考ISOIEC13818-1.pdf文档,看起来应该没什么困难,这里不再累述。
传送门:
但是其中tsheader里的payload_unit_start_indicator和pesheader里的PES_packet_length这两个字段,在解析ts流的时候至关重要,新手可能比较困惑,不懂其意,我得好好讲讲。
payload_unit_start_indicator有两个值,0或1,具体的意思我们来举个例子。
假设有两个视频帧,每个视频帧假设都需要3个tspacket包来存放一个PES包。
那么一共有6个tspacket,它们的payload_unit_start_indicator的值为1,0,0,1,0,0,值为1代表一个帧的开始,下一个1就是新的一帧的开始了。
PES_packet_length顾名思义就是PES包的长度,但是注意,它是2个字节存储的,这意味着,最大只能表示65535,一旦视频帧很大,超过这个长度,怎么办,就把PES_packet_length置为0,这是ISO标准规定的。
所以在解析的时候,不能以PES_packet_length为准,要参考payload_unit_start_indicator。
欢迎您的下载,
资料仅供参考!
致力为企业和个人提供合同协议,策划案计划书,学习资料等等
打造全网一站式需求
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- ts 解析 规则