DTS和PTS

• DTS(Decoding Time Stamp, 解码时间戳)，表示压缩帧的解码时间。
• PTS(Presentation Time Stamp, 显示时间戳)，表示将压缩帧解码后得到的原始帧的显示时间。

1
2
3
4
5
6
7
8

显示顺序：
I[0] B[1] B[2] P[3] B[4] B[5] P[6] B[7] B[8] I[0] B[1] B[2] P[3]

解码、传输、编码顺序：
I[0] P[3] B[1] B[2] P[6] B[4] B[5] I[0] B[7] B[8] P[3] B[1] B[2]

采集顺序：
I[0] B[1] B[2] P[3] B[4] B[5] P[6] B[7] B[8] I[0] B[1] B[2] P[3]

• 采集顺序指图像传感器采集原始信号得到图像帧的顺序。
• 编码顺序指编码器编码后图像帧的顺序。存储到磁盘的本地视频⽂件中图像帧的顺序与编码顺序相同。
• 传输顺序指编码后的流在⽹络中传输过程中图像帧的顺序。
• 解码顺序指解码器解码图像帧的顺序。
• 显示顺序指图像帧在显示器上显示的顺序。
• 采集顺序与显示顺序相同。编码顺序、传输顺序和解码顺序相同。

时间基与时间戳

时间基与时间戳

• 在FFmpeg中，时间基(time_base)是时间戳(timestamp)的单位，时间戳值乘以时间基，可以得到实际的时刻值(以秒等为单位)。例如，如果⼀个视频帧的dts是40，pts是160，其time_base是1/1000秒，那么可以计算出此视频帧的解码时刻是40毫秒(40/1000)，显示时刻是160毫秒(160/1000)。FFmpeg中时间戳(pts/dts)的类型是int64_t类型，把⼀个time_base看作⼀个时钟脉冲，则可把dts/pts看作时钟脉冲的计数。

时间基tbr、tbn和tbc

• tbn：对应容器中的时间基，值是AVStream.time_base的倒数

• tbc：对应编解码器中的时间基，值是AVCodecContext.time_base的倒数

• tbr：从视频流中猜测得到，可能是帧率或场率（帧率的2倍）

• ffprobe探测媒体文件格式

  1 2 3 4 5 6 7 8 9

  think@opensuse> ffprobe tnmil3.flv ffprobe version 4.1 Copyright (c) 2007-2018 the FFmpeg developers Input #0, flv, from 'tnmil3.flv': Metadata: encoder : Lavf58.20.100 Duration: 00:00:03.60, start: 0.017000, bitrate: 513 kb/s Stream #0:0: Video: h264 (High), yuv420p(progressive), 784x480, 25 fps, 25 tbr, 1k tbn, 50 tbc Stream #0:1: Audio: aac (LC), 44100 Hz, stereo, fltp, 128 kb/s

AV_TIME_BASE

1
2
3
4

// Internal time base represented as integer
#define AV_TIME_BASE 1000000 //微妙
// Internal time base represented as fractional value
#define AV_TIME_BASE_Q (AVRational){1, AV_TIME_BASE}

• AV_TIME_BASE及AV_TIME_BASE_Q⽤于FFmpeg内部函数处理，使⽤此时间基计算得到时间值表示的是微秒。

时间值形式转换

• av_q2d()将时间从AVRational形式转换为double形式。AVRational是分数类型，double是双精度浮点数类型，转换的结果单位是秒。转换前后的值基于同⼀时间基，仅仅是数值的表现形式不同⽽已。

  1 2 3 4 5 6 7 8 9

  /** * Convert an AVRational to a `double`. * @param a AVRational to convert * @return `a` in floating-point form * @see av_d2q() */ static inline double av_q2d(AVRational a){ return a.num / (double) a.den; }

  1 2 3 4 5 6

  AVStream stream; AVPacket packet; /*packet播放时刻值：*/ timestamp(单位秒) = packet.pts * av_q2d(stream.time_base); /*packet播放时⻓值：*/ duration(单位秒) = packet.duration * av_q2d(stream.time_base);

时间基转换函数

• av_rescale_q

  1 2 3 4 5 6 7 8 9 10 11

  // 将a数值由bq时间基转成cq的时间基，通过返回结果获取以cq时间基表示的新数值 /** * Rescale a 64-bit integer by 2 rational numbers. * * The operation is mathematically equivalent to `a × bq / cq`. * * This function is equivalent to av_rescale_q_rnd() with #AV_ROUND_NEAR_INF. * * @see av_rescale(), av_rescale_rnd(), av_rescale_q_rnd() */ int64_t av_rescale_q(int64_t a, AVRational bq, AVRational cq) av_const;

• av_rescale_rnd

  1 2 3 4 5 6 7 8 9 10

  // 它的作⽤是计算 "a * b / c" 的值并分五种⽅式来取整 // 具体请看封装过程中的时间基转换，其中有例子 int64_t av_rescale_rnd(int64_t a, int64_t b, int64_t c, enum AVRounding rnd); /* AV_ROUND_ZERO = 0, // Round toward zero. 趋近于0， round(2.5) 为 2, ⽽ round(-2.5) 为 -2 AV_ROUND_INF = 1, // Round away from zero. 趋远于0 round(3.5)=4, round(-3.5)=-4 AV_ROUND_DOWN = 2, // Round toward -infinity.向负⽆穷⼤⽅向 [-2.9, -1.2, 2.4, 5.6, 7.0, 2.4] -> [-3, -2, 2, 5, 7, 2] AV_ROUND_UP = 3, // Round toward +infinity. 向正⽆穷⼤⽅向[-2.9, -1.2, 2.4, 5.6, 7.0, 2.4] -> [-2, -1, 3, 6, 7, 3] AV_ROUND_NEAR_INF = 5, // Round to nearest and halfway cases away from zero. // 四舍五⼊,⼩于0.5取值趋向0,⼤于0.5取值趋远于0 */

• av_rescale_ts

  1 2 3 4 5 6 7 8 9 10 11 12 13

  // ⽤于将AVPacket中各种时间值从⼀种时间基转换为另⼀种时间基。 /** * Convert valid timing fields (timestamps / durations) in a packet from one * timebase to another. Timestamps with unknown values (AV_NOPTS_VALUE) will be * ignored. * * @param pkt packet on which the conversion will be performed * @param tb_src source timebase, in which the timing fields in pkt are * expressed * @param tb_dst destination timebase, to which the timing fields will be * converted */ void av_packet_rescale_ts(AVPacket *pkt, AVRational tb_src, AVRational tb_dst);

封装过程中的时间基转换

• 对于容器中的时间基(AVStream.time_base)：
• 输入流，打开输入文件后，调用avformat_find_stream_info()可获取到每个流中time_base
• 输出流，打开输出文件后，调用avformat_write_header()可根据输出文件封装格式确定每个流的time_base写入输出文件中

转封装时间基转换

1. 方式一

   1 2 3

   av_read_frame(ifmt_ctx, &pkt); pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base,AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX); pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base,AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);

2. 方式二

   1 2 3 4

   // 从输⼊⽂件中读取packet av_read_frame(ifmt_ctx, &pkt); // 将packet中的各时间值从输⼊流封装格式时间基转换到输出流封装格式时间基 av_packet_rescale_ts(&pkt, in_stream->time_base, out_stream->time_base);

转码中的时间基转换

• 对于编解码器中的时间基(AVCodecContext.time_base, tbc)：
• 实际使⽤时，在视频解码过程中，我们不使⽤AVCodecContext.time_base(解码过程中，此参数已过时)，⽽⽤帧率倒数作时间基，在视频编码过程中，我们将AVCodecContext.time_base设置为帧率的倒数
• 视频解码过程中是否要进行时间基转换需要具体问题具体分析，packet的pts到底什么，要看实际的情况，从av_read_frame读取的packet，是以AVSteam->time_base，送给解码器之前没有必要转成AVcodecContext->time_base， 需要注意的是avcodec_receive_frame后以AVSteam->time_base为单位即可。
• 视频编码的时候frame如果以AVstream为time_base送编码器，则avcodec_receive_packet读取的时候也是以转成AVSteam->time_base，本质来讲就是具体情况具体分析
• 音频流编解码也需要具体问题具体分析，⽐如ffplay 解码播放时就是AVSteam的time_base为基准的packet进⼊到编码器，然后出来的frame再⽤AVSteam的time_base讲对应的pts转成秒， 但是要注意的是ffplay做了⼀个⽐较隐秘的设置：avctx->pkt_timebase = ic->streams[stream_index]->time_base; 即是对应的codeccontext⾃⼰对pkt_timebase设置和AVStream⼀样的time_base。