H264基本概念

什么是IDR

• ⼀个序列的第⼀个图像叫做 IDR 图像（⽴即刷新图像），IDR 图像都是 I 帧图像。
  I和IDR帧都使⽤帧内预测。I帧不⽤参考任何帧，但是之后的P帧和B帧是有可能参考这个I帧之
  前的帧的。IDR就不允许这样。⽐如（解码的顺序）：
• IDR1 P4 B2 B3 P7 B5 B6 I10 B8 B9 P13 B11 B12 P16 B14 B15 这⾥的B8可以跨过I10去参考P7
• 原始图像： IDR1 B2 B3 P4 B5 B6 P7 B8 B9 I10
• IDR1 P4 B2 B3 P7 B5 B6 IDR8 P11 B9 B10 P14 B11 B12 这⾥的B9就只能参照IDR8和P11，不可以
  参考IDR8前⾯的帧
• 其核⼼作⽤是，是为了解码的重同步，当解码器解码到 IDR 图像时，⽴即将参考帧队列清
  空，将已解码的数据全部输出或抛弃，重新查找参数集，开始⼀个新的序列。这样，如果前⼀
  个序列出现重⼤错误，在这⾥可以获得重新同步的机会。IDR图像之后的图像永远不会使⽤
  IDR之前的图像的数据来解码。

什么是SPS

• 序列参数集，SPS中保存了⼀组编码视频序列(Coded video sequence)的全局参数。

什么是PPS

• 图像参数集，对应的是⼀个序列中某⼀幅图像或者某⼏幅图像的参数。
• 发I帧之前，⾄少要发⼀次SPS和PPS。

NALU结构

• ⼀个原始的H.264 NALU单元通常由[StartCode] [NALU
  Header] [NALU Payload]三部分组成，其中 Start Code ⽤于标示这是⼀个NALU 单元的开
  始，必须是”00 00 00 01” 或”00 00 01”，除此之外基本相当于⼀个NAL header + RBSP(⼀个原始字节序列负荷(RBSP,Raw
  Byte Sequence Payload));

以上概念之间的关系

H264两种封装模式

• ⼀种是annexb模式，传统模式，有startcode，SPS和PPS是在流中
• ⼀种是mp4模式，⼀般mp4 mkv都是mp4模式，没有startcode，SPS和PPS以及其它信息
  被封装在container中，每⼀个frame前⾯4个字节是这个frame的⻓度，也就是说处理sps与pps变成了解复用器的事情，这时候裸流中没有sps、pps和startcode

提取FLV与MP4中H264流

• 为了使H264流播放正常，需要通过过滤器将FLV与MP4的mp4模式转换成annexb模式

  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

  // 1 获取相应的比特流过滤器 //FLV/MP4/MKV等结构中，h264需要h264_mp4toannexb处理。添加SPS/PPS等信息。 const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb"); AVBSFContext *bsf_ctx = NULL; // 2 初始化过滤器上下文 av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext; // 3 添加解码器属性 avcodec_parameters_copy(bsf_ctx->par_in, ifmt_ctx->streams[videoindex]->codecpar); av_bsf_init(bsf_ctx); while (0 == file_end) { if((ret = av_read_frame(ifmt_ctx, pkt)) < 0) { // 没有更多包可读 file_end = 1; printf("read file end: ret:%d\n", ret); } if(ret == 0 && pkt->stream_index == videoindex) { int input_size = pkt->size; int out_pkt_count = 0; if (av_bsf_send_packet(bsf_ctx, pkt) != 0) // bitstreamfilter内部去维护内存空间 { av_packet_unref(pkt); // 你不用了就把资源释放掉 continue; // 继续送 } av_packet_unref(pkt); // 释放资源 while(av_bsf_receive_packet(bsf_ctx, pkt) == 0) { out_pkt_count++; size_t size = fwrite(pkt->data, 1, pkt->size, outfp); if(size != pkt->size) { printf("fwrite failed-> write:%u, pkt_size:%u\n", size, pkt->size); } av_packet_unref(pkt); } if(out_pkt_count >= 2) { printf("cur pkt(size:%d) only get 1 out pkt, it get %d pkts\n", input_size, out_pkt_count); } } }

提取TS中H264流

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

while (0 == file_end)
{
    if((ret = av_read_frame(ifmt_ctx, pkt)) < 0)
    {
        // 没有更多包可读
        file_end = 1;
        printf("read file end: ret:%d\n", ret);
    }
    if(ret == 0 && pkt->stream_index == videoindex)
    {

     // TS流可以直接写入,不需要过滤器
        size_t size = fwrite(pkt->data, 1, pkt->size, outfp);
        if(size != pkt->size)
        {
            printf("fwrite failed-> write:%u, pkt_size:%u\n", size, pkt->size);
        }
        av_packet_unref(pkt);
    }
}