从海康的ps流中提取h264数据_海康ps提取h264,h265-程序员宅基地

技术标签： 视频处理  h264  摄像头  海康  视频流  PS流  

海康7816使用ps流来封装h.264数据，这里使用的解码器无法识别ps流，因此需要将h264数据从ps流里提取出来

对于ps流的规定可以参考13818-1文档

 

这里从7816里获取到一些数据取样

00 00 01 BA 44 73 26 B8 34 01 00 00 03 FE FF FF 00 00 00 0100 00 01 BC00 5A E0 FF 00 24 40 0E 48 4B 00 01 0D AF C5 D3 E0 07 FF FF FF FF 41 12 48 4B 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 2C 1B E0 00 10 42 0E 00 00 A0 21 02 C0 02 40 12 1F FF 00 1C 21 91 C0 00 0C 43 0A 00 00 FE 00 7D 03 03 E8 03 FF BD BD 00 00 BF BF 00 00 00 00 00 0000 00 01 E0 00 1A 8C 80 0A 21 1C C9 AE 0D FF FF FF FF FC 00 00 00 01 67 42 00 1E 95 A8 2C 04 99 00 00 01 E0 00 0E 8C 0003 FF FF FC 00 00 00 01 68 CE 3C 80 00 00 01 E0 13 FA 8C 00 02 FF FD 。。。

如上是一个i帧的数据的开始部分，如下是一个非i帧的数据的开始部分

00 00 01 BA 44 73 27 99 34 01 00 00 03 FE FF FF 00 00 00 03 00 00 01 E0 07 12 8C 80 0A 21 1C C9 E6 4D FF FF FF FF F8。。。

可见都是以00 00 01 BA开头，这是ps的包头(Program Stream pack header)，其中00 00 01是pack_start_code，是一个数据包的开始标识，接下来的1byte(BA)是流标识(stream_id)，在文档13818-1的Table 2-33和2.5.3.4节有Program Stream pack header的描述。

这里把上面i帧的的(Program Stream pack header列出来

00 00 01 BA 44 73 26 B8 34 01 00 00 03 FE FF FF 00 00 00 01

根据文档描述包头最少有14个字节，第14个字节的最后3bit说明了包头14字节后填充数据的长度，这里是pack_stuffing_length=FE&0x07=6，有6byte的填充数据，既是FF FF 00 00 00 01，海康7816使用这部分填充数据来说明每帧的序号，01说明是第1帧数据。

要注意的是包头可能还有系统标题头，id为bb，他也是包头的一部分，并且，他的长度并未算在pack_stufing_length里，比如：

00 00 01 BB 00 0C 80 CC F5 04 E1 7F E0 E0 E8 C0 C0 20 

这里起始码后的 00 0C 说明了其后数据的长度，这里是12个字节

接在Program Stream pack header后的是以00 00 01 BC开始的一个包，00 00 01是pack_start_code，BC是stream_id流标识，说明跟在Program Stream pack header后的是Program Stream map。文档13818-1的Table 2-35和2.5.4.2节有Program Stream pack header的描述。

跟在00 00 01 BC后的两位是说明了Program Stream map，他也是pes包的一种，包的长度program_stream_map_length，这里是00 5A，说明跟在其后的数据长度为90，跳过这其后的90byte数据是以00 00 01 E0开始的包，E表示是GB/TXXXX.2或GB/TAAAA.2视频流编号xxxx规格的pes包了，0表示流id为0，h264数据就在这个包里。

从Program Stream map里我们还能得知pes里的流是何种流(stream_type和elementary_stream_id表明)，以及帧率()等

1110XXXX（0xex）表示视频数据，111XXXXX表示audio数据，其后的帧有关信息共5字节，2字节PES包长度是00 1A，表示此PES数据包的长度是0x001a 即26字节；2字节标准位信息是8C 80，5字节中的最后一字节表示附加数据长度是0A，跟在附加数据长度后的就是视频数据负载了。

pes包可以有多个，这里的i帧就把数据放到了多个pes包里，这里的非i帧就只有一个pes包

有了以上信息就已经可以从7816里剥离出h246数据了，更详细的说明请参考文档。

截取一段pes包头进行分析

00 00 01 E0 00 1A 8C 80 0A 21 1C C9 AE 0D FF FF FF FF FC 
00 1A: 2字节表示长度
8C(10 00 1 1 00): 首先是固定值10,。
接下来的两位为(PES加扰控制字段)PES_scrambling_control,这里是00，表示没有加扰(加密)。剩下的01,10,11由用户自定义。
接下来第4位为PES优先级字段(PES_priority),当为1时为高优先级，0为低优先级。这里为1。
接下来第3位为(数据对齐指示符字段)PESdata_alignment_indicator,
接下来第2位为版权位，
接下来第1位为版权位，
80(10 000000):
首先是PTS,DTS标志字段,这里是10，表示有PTS,没有DTS。
接下来第6位是ESCR标志字段，这里为0，表示没有该段
接下来第5位是ES速率标志字段，，这里为0，表示没有该段
接下来第4位是DSM特技方式标志字段，，这里为0，表示没有该段
接下来第3位是附加版权信息标志字段，，这里为0，表示没有该段
接下来第2位是PES CRC标志字段，，这里为0，表示没有该段
接下来第1位是PES扩展标志字段，，这里为0，表示没有该段
0A(10):8个字节，指出包含在PES分组标题中的可选字段和任何填充字节所占用的总字节数。该字段之前的字节指出了有无可选字段(这里只有PTS)。
因为这里PTS,DTS标志字段是10，那就有5个字节的PTS段，就是这里的21 1C C9 AE 0D
最后的五个字节的FF FF FF FF FC是海康自己的一个自减计数值 



[cpp]  view plain copy 在CODE上查看代码片 派生到我的代码片
  1. #pragma pack(1)  
  2.   
  3. union littel_endian_size  
  4. {  
  5.     unsigned short int  length;  
  6.     unsigned char       byte[2];  
  7. };  
  8.   
  9. struct pack_start_code  
  10. {  
  11.     unsigned char start_code[3];  
  12.     unsigned char stream_id[1];  
  13. };  
  14.   
  15. struct program_stream_pack_header  
  16. {  
  17.     pack_start_code PackStart;// 4  
  18.     unsigned char Buf[9];  
  19.     unsigned char stuffinglen;  
  20. };  
  21.   
  22. struct program_stream_map  
  23. {  
  24.     pack_start_code PackStart;  
  25.     littel_endian_size PackLength;//we mast do exchange  
  26.     //program_stream_info_length  
  27.     //info  
  28.     //elementary_stream_map_length  
  29.     //elem  
  30. };  
  31.   
  32. struct program_stream_e  
  33. {  
  34.     pack_start_code     PackStart;  
  35.     littel_endian_size  PackLength;//we mast do exchange  
  36.     char                PackInfo1[2];  
  37.     unsigned char       stuffing_length;  
  38. };  
  39.   
  40. #pragma pack()  
  41.   
  42. int inline ProgramStreamPackHeader(char* Pack, int length, char **NextPack, int *leftlength)  
  43. {  
  44.     //printf("[%s]%x %x %x %x\n", __FUNCTION__, Pack[0], Pack[1], Pack[2], Pack[3]);  
  45.     //通过 00 00 01 ba头的第14个字节的最后3位来确定头部填充了多少字节  
  46.     program_stream_pack_header *PsHead = (program_stream_pack_header *)Pack;  
  47.     unsigned char pack_stuffing_length = PsHead->stuffinglen & '\x07';  
  48.   
  49.     *leftlength = length - sizeof(program_stream_pack_header) - pack_stuffing_length;//减去头和填充的字节  
  50.     *NextPack = Pack+sizeof(program_stream_pack_header) + pack_stuffing_length;  
  51.   
  52.     if(*leftlength<4) return 0;  
  53.   
  54.     //printf("[%s]2 %x %x %x %x\n", __FUNCTION__, (*NextPack)[0], (*NextPack)[1], (*NextPack)[2], (*NextPack)[3]);  
  55.   
  56.     return *leftlength;  
  57. }  
  58.   
  59. inline int ProgramStreamMap(char* Pack, int length, char **NextPack, int *leftlength, char **PayloadData, int *PayloadDataLen)  
  60. {  
  61.     //printf("[%s]%x %x %x %x\n", __FUNCTION__, Pack[0], Pack[1], Pack[2], Pack[3]);  
  62.       
  63.     program_stream_map* PSMPack = (program_stream_map*)Pack;  
  64.   
  65.     //no payload  
  66.     *PayloadData = 0;  
  67.     *PayloadDataLen = 0;  
  68.       
  69.     if(length < sizeof(program_stream_map)) return 0;  
  70.   
  71.     littel_endian_size psm_length;  
  72.     psm_length.byte[0] = PSMPack->PackLength.byte[1];  
  73.     psm_length.byte[1] = PSMPack->PackLength.byte[0];  
  74.   
  75.     *leftlength = length - psm_length.length - sizeof(program_stream_map);  
  76.   
  77.     //printf("[%s]leftlength %d\n", __FUNCTION__, *leftlength);  
  78.       
  79.     if(*leftlength<=0) return 0;  
  80.   
  81.     *NextPack = Pack + psm_length.length + sizeof(program_stream_map);  
  82.   
  83.     return *leftlength;  
  84. }  
  85.   
  86. inline int Pes(char* Pack, int length, char **NextPack, int *leftlength, char **PayloadData, int *PayloadDataLen)  
  87. {  
  88.     //printf("[%s]%x %x %x %x\n", __FUNCTION__, Pack[0], Pack[1], Pack[2], Pack[3]);  
  89.     program_stream_e* PSEPack = (program_stream_e*)Pack;  
  90.   
  91.     *PayloadData = 0;  
  92.     *PayloadDataLen = 0;  
  93.   
  94.     if(length < sizeof(program_stream_e)) return 0;  
  95.       
  96.     littel_endian_size pse_length;  
  97.     pse_length.byte[0] = PSEPack->PackLength.byte[1];  
  98.     pse_length.byte[1] = PSEPack->PackLength.byte[0];  
  99.   
  100.     *PayloadDataLen = pse_length.length - 2 - 1 - PSEPack->stuffing_length;  
  101.     if(*PayloadDataLen>0)   
  102.         *PayloadData = Pack + sizeof(program_stream_e) + PSEPack->stuffing_length;  
  103.           
  104.     *leftlength = length - pse_length.length - sizeof(pack_start_code) - sizeof(littel_endian_size);  
  105.   
  106.     //printf("[%s]leftlength %d\n", __FUNCTION__, *leftlength);  
  107.   
  108.     if(*leftlength<=0) return 0;  
  109.   
  110.     *NextPack = Pack + sizeof(pack_start_code) + sizeof(littel_endian_size) + pse_length.length;  
  111.   
  112.     return *leftlength;  
  113. }  
  114.   
  115. int inline GetH246FromPs(char* buffer,int length,CallbackHead& head, char **h264Buffer, int *h264length)  
  116. {  
  117.     int leftlength = 0;  
  118.     char *NextPack = 0;  
  119.   
  120.     *h264Buffer = buffer;  
  121.     *h264length = 0;  
  122.   
  123.     if(ProgramStreamPackHeader(buffer, length, &NextPack, &leftlength)==0)  
  124.         return 0;  
  125.   
  126.     char *PayloadData=NULL;   
  127.     int PayloadDataLen=0;  
  128.   
  129.     while(leftlength >= sizeof(pack_start_code))  
  130.     {  
  131.         PayloadData=NULL;  
  132.         PayloadDataLen=0;  
  133.           
  134.         if(NextPack   
  135.         && NextPack[0]=='\x00'   
  136.         && NextPack[1]=='\x00'   
  137.         && NextPack[2]=='\x01'   
  138.         && NextPack[3]=='\xE0')  
  139.         {  
  140.             //接着就是流包，说明是非i帧  
  141.             if(Pes(NextPack, leftlength, &NextPack, &leftlength, &PayloadData, &PayloadDataLen))  
  142.             {  
  143.                 if(PayloadDataLen)  
  144.                 {  
  145.                     memcpy(buffer, PayloadData, PayloadDataLen);  
  146.                     buffer += PayloadDataLen;  
  147.                     *h264length += PayloadDataLen;  
  148.                 }  
  149.             }  
  150.             else   
  151.             {  
  152.                 if(PayloadDataLen)  
  153.                 {  
  154.                     memcpy(buffer, PayloadData, PayloadDataLen);  
  155.                     buffer += PayloadDataLen;  
  156.                     *h264length += PayloadDataLen;  
  157.                 }  
  158.   
  159.                 break;  
  160.             }  
  161.         }  
  162.         else if(NextPack   
  163.             && NextPack[0]=='\x00'   
  164.             && NextPack[1]=='\x00'  
  165.             && NextPack[2]=='\x01'  
  166.             && NextPack[3]=='\xBC')  
  167.         {  
  168.             if(ProgramStreamMap(NextPack, leftlength, &NextPack, &leftlength, &PayloadData, &PayloadDataLen)==0)  
  169.                 break;  
  170.         }  
  171.         else  
  172.         {  
  173.             //printf("[%s]no konw %x %x %x %x\n", __FUNCTION__, NextPack[0], NextPack[1], NextPack[2], NextPack[3]);  
  174.             break;  
  175.         }  
  176.     }  
  177.   
  178.       
  179.     return *h264length;  
  180. }  


ps：
 这篇文章回复私信挺多的，有的同学读了成功的获取了原始的h.264数据，有的同学反映和他们遇到的情况不一样，比如subi2008同学说他读出的流有00 00 01 c0标识的pes数据，这个其实是音频数据，还有遇到00 00 01 bd的，这个是私有流的标识，总之，ps流就解析大家可以参看ps,ts流的文档，里面的内容都有，表2-18里说明了所有的流标识。


ps:

另外，有的hk摄像头回调然后解读出来的原始h.264码流，有的一包里只有分界符数据(nal_unit_type=9)或补充增强信息单元(nal_unit_type=6)，如果直接送入解码器，有可能会出现问题，这里的处理方式要么丢弃这两个部分，要么和之后的数据合起来，再送入解码器里，如有遇到的朋友可以交流一下:)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jisuanji_wjfioj/article/details/40430455

智能推荐

攻防世界_难度8_happy_puzzle_攻防世界困难模式攻略图文-程序员宅基地

文章浏览阅读645次。这个肯定是末尾的IDAT了，因为IDAT必须要满了才会开始一下个IDAT，这个明显就是末尾的IDAT了。，对应下面的create_head()代码。，对应下面的create_tail()代码。不要考虑爆破，我已经试了一下，太多情况了。题目来源：UNCTF。_攻防世界困难模式攻略图文

达梦数据库的导出（备份）、导入_达梦数据库导入导出-程序员宅基地

文章浏览阅读2.9k次，点赞3次，收藏10次。偶尔会用到，记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录，执行导库操作　　导出语句：./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log　注释：　　 cwy_init/init_123..._达梦数据库导入导出

js引入kindeditor富文本编辑器的使用_kindeditor.js-程序员宅基地

文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件，可以删掉不需要要到的jsp，asp，asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件，在页面引入js文件：<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js

STM32学习过程记录11——基于STM32G431CBU6硬件SPI+DMA的高效WS2812B控制方法-程序员宅基地

文章浏览阅读2.3k次，点赞6次，收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA，我们的数据线就会变为10101010，通过修改不同的内容，即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平，后半周期为低电平的状态。在SPI的通信模式中，CPHA配置会影响该实验，下图展示了不同采样位置的SPI时序图[1]。CPOL = 0，CPHA = 1：CLK空闲状态 = 低电平，数据在下降沿采样，并在上升沿移出CPOL = 0，CPHA = 0：CLK空闲状态 = 低电平，数据在上升沿采样，并在下降沿移出。_stm32g431cbu6

计算机网络-数据链路层_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输-程序员宅基地

文章浏览阅读1.2k次，点赞2次，收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决？5.如果在数据链路层不进行帧定界，会发生什么问题？6.PPP协议的主要特点是什么？为什么PPP不使用帧的编号？PPP适用于什么情况？为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输

软件测试工程师移民加拿大_无证移民，未受过软件工程师的教育（第1部分）-程序员宅基地

文章浏览阅读587次。软件测试工程师移民加拿大 无证移民，未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...

随便推点

Thinkpad X250 secure boot failed 启动失败问题解决_安装完系统提示secureboot failure-程序员宅基地

文章浏览阅读304次。Thinkpad X250笔记本电脑，装的是FreeBSD，进入BIOS修改虚拟化配置（其后可能是误设置了安全开机），保存退出后系统无法启动，显示：secure boot failed ，把自己惊出一身冷汗，因为这台笔记本刚好还没开始做备份.....根据错误提示，到bios里面去找相关配置，在Security里面找到了Secure Boot选项，发现果然被设置为Enabled，将其修改为Disabled ，再开机，终于正常启动了。_安装完系统提示secureboot failure

C++如何做字符串分割（5种方法）_c++ 字符串分割-程序员宅基地

文章浏览阅读10w+次，点赞93次，收藏352次。1、用strtok函数进行字符串分割原型： char *strtok(char *str, const char *delim);功能：分解字符串为一组字符串。参数说明：str为要分解的字符串，delim为分隔符字符串。返回值：从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它：strtok函数线程不安全，可以使用strtok_r替代。示例：//借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割

2013第四届蓝桥杯 C/C++本科A组 真题答案解析_2013年第四届c a组蓝桥杯省赛真题解答-程序员宅基地

文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯：无论如何都要记日记。他的日记有个与众不同的地方，他从不注明年月日，而是用一个整数代替，比如：4210后来人们知道，那个整数就是日期，它表示那一天是高斯出生后的第几天。这或许也是个好习惯，它时时刻刻提醒着主人：日子又过去一天，还有多少时光可以用于浪费呢？高斯出生于：1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答

基于供需算法优化的核极限学习机(KELM)分类算法-程序员宅基地

文章浏览阅读851次，点赞17次，收藏22次。摘要：本文利用供需算法对核极限学习机(KELM)进行优化，并用于分类。

metasploitable2渗透测试_metasploitable2怎么进入-程序员宅基地

文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功，进入系统4、测试如下：二、MySQL弱密码登录：1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功，进入MySQL系统3、测试效果：三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入

Python学习之路：从入门到精通的指南_python人工智能开发从入门到精通pdf-程序员宅基地

文章浏览阅读257次。本文将为初学者提供Python学习的详细指南，从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文，您将能够掌握Python编程的核心概念，为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf

推荐文章

热门文章

相关标签