摘要： 这一次的世界杯，与以往世界杯最大的区别在于，有很多互联网用户观看直播，而不是在电视上。在互联网观看直播，互联网的网络条件不一样，观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。

在本月的重庆云栖大会飞天技术汇专场中，阿里云高级算法专家黄海宇分享了题为《超大规模直播码率控制》的议题，从生产的链路角度来说世界杯怎么让观众看到更加清晰的视频。

这一次的世界杯，与以往世界杯最大的区别在于，有很多互联网用户观看直播，而不是在电视上。在互联网观看直播，互联网的网络条件不一样，观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。

分享分三个部分，首先讨论一下为什么要关注码率控制、其次是宏观上怎么做码率控制，最后是介绍下微观上怎么做码率控制。

为什么我们要关注码率控制

我们先看一下个直播的一个简单的过程。

世界杯通常会拿到一个非常高清的直播源，它的码率非常大，不太适合在互联网上直接传输。所以整条链路中会有一个视频内容的再生产的过程，这个再生产的过程最重要的就是视频的转码，将这个转成不同分辨率的几个档位。比如说我们看视频有流畅的、标清、高清、超清的视频，这些都是为了让不同网络的用户可以流畅的观看视频。在进行转码以后，视频流会经过CDN放大，很多用户会进行观看。

其中，码率控制是发生在转码这个环节，就是把高清视频进行解码再进行重新编码，视频的转码是一个有损的压缩的过程，把原来的视频进行处理，将里面的细节进行忽略，这样能够以一个更低的带宽去满足用户播放流畅的需求。

码率控制有什么影响

第一，码率控制对清晰度有影响。我们通常的概念是清晰度越高码率越高，要求用户的下行的带宽更高。

第二，码率控制影响用户流畅度的影响，用户播放的网络各不相同，当用户的带宽大于视频码率时，才够流畅播放。

第三，码率控制的影响是成本的影响，在整个世界杯直播的过程中，最大的费用在CDN带宽上，CDN的总带宽消耗为不同的码率以及这种码率并发在线人数的乘积之和。

所以我们的问题是用户的网络是有限的，我们如何在有限的网络下最好的控制码率，提供给用户最清晰的视频。

宏观码率控制

下图是一个在世界杯期间直播的例子，左边是另外一个直播平台做的一个视频直播，右边是优酷上面的。可以清楚的看到左边的视频在抢角球的场景是很模糊的，而右边的视频是看起来比较光滑和细腻的，这两个视频是相同的码率，左边是1080P的2.5M，右边是720P的2.5M，但是为什么会出现这样的场景？

我们先看一下整个视频编码的过程是怎么样的：

下图上面这条线是一个1080P的视频转成1080P的视频进行播放的一个流程，首先是解码，这一步是不会有视频清晰度的损失的；然后是视频的编码，比如说一个视频25帧，需要把这25帧的图像编码成3M的1080P的图像，在这个过程中，为了保证输出码率为3M，有大量的细节损失；第三步是这个视频经过了CDN网络的传输到达用户的播放器，用户会进行解码播放，这一步是没有信息的损失。最后一步是播放器的渲染，这一步也没有信息损失。

我们再来看720P转码，经过1080P的视频解码，下采样到720P，720P编码，传输，解码，最后在播放器端进行上采样，重新编成1080P以及渲染的过程。这个过程中有两次的视频清晰度的损失，第一次是发生在上采样以及下采样的过程中，这个信息实际上是一个固定的损失，它和我们的采样算法有关系；第二是在720P的图像编码成3M的视频中发生的。为什么1080P不如720P清晰，是因为在720P编码中，我们可以把720P的每一个象素都描述得非常清晰，这部分的信息损失加上采样的信息损失只和小于1080P编码时的信息损失。

所以总结一下我们需要控制码率。码率控制的目的就是在一定的带宽条件下，需要使每一个比特都能够发挥它的作用，把它分配到最需要他的地方，从而提升用户的观看体验。

说到把每一个比特分配到最需要它的地方，通常会有很多方式，在整个编码过程中什么地方有信息的损失，就可以在哪里做。比如：

第一是在分辨率做文章，对给定的码率，可以选择不同的分辨率进行调整。

第二是在帧率做文章，对给定的码率，可以选择不同的帧率。

第三是在视频中码率在不同的帧间进行码率分配，对于复杂的场景，分配更多码率，对于简单的场景，分配较少的码率。

第四是在帧内进行码率分配，在一帧之内，根据图像的复杂程度和人眼敏感程度进行码率分配。

在世界杯实现的场景中，要考虑到播放器的兼容性，使用的是分辨率、帧间码率，帧内码率的优化手段。

宏观码率控制——分辨率

首先看一下在宏观的码率选择上，如何去根据码率选择一个最佳的分辨率。

这是一个对世界杯的视频做的试验，采用不同的分辨率来进行编码，相同的码率进行编码。上图可以看到信息的损失量，我们可以在相同的码率下，随着我们的分辨率的增高，实际上视频的清晰度逐渐升高。到了一个最高点以后，反而会由于视频的分辨率的增加，它的清晰度会降低。这也验证了之前我们看到例子。

所以根据这样一条曲线可以得到分辨率和码率的模型，对于任何一个分辨率可以找到一个最佳的码率。在实际上世界杯的这个场景中，我们把视频分成了很多码率，在给定的任意一个码率上我们都能找到相应的分辨率。

如果关注过阿里云的直播，会看到转码的建议上会给出很多不常见的分辨率，比如说432P、648P这样的分辨率，这些分辨率通常能在相应档位的码率上得到很好的清晰度。

微观码率控制——帧间码率

说到微观上的码率控制的时候，第一件事情就是如何将码率在很多帧间进行分配。

上图给出了多种码率分配的算法，第一个算法是传统的CBR，就是说不管视频的变化是怎么样，统一采用相同的码率对视频进行编码，尽量做到每一秒的码率是相同的。CBR是途中的红线，我们可以看到实际上视频清晰度的损失波动非常大，在红线中可以看到高的时候可以非常高，低的时候非常低。在播放的时候肯定不希望能够看到一个清晰度剧烈抖动的视频，这对人眼的观看是极其糟糕的，于是我们尝试用一种叫CQP的方式进行视频编码，这实际是确定了视频编码的量化步长，这个情况下可以得到清晰度相对稳定的视频。但是采用这种编码不是没有代价的，采用CBR时码率比较稳定，但是采用CQP，在画面比较复杂的地方，为了把这个清晰度提高，码率就会非常高，可以看到，在右图中，CQP（绿线）的码率飙到了12mbps，这对普通用户来说显然是不可以接受的。所以最终采用了VBR VBV的方式。当使用VBR VBV的控制策略以后，蓝线比红线的码率质量波动会稍微好一点，VBV模型也能保证用户带宽在达到VBV指定最大码率时，视频一定能够流畅播放。

VBR的烦恼

VBR在大规模直播中也会带来一些问题，这张图是在世界杯的开幕式的时候一张CDN的带宽的分布图，横坐标是时间，纵坐标是CDN的带宽。

这个图就可以看到两个非常明显的波动，第一个发生在中场休息，第二个发上在23:00，开幕式结束，比赛正式开始前。第一个波动很好解释，因为中场休息时很多观众离开，中途的精彩进球会回来一部分观众，下半场开始又有很多观众继续观看。在前面的波谷就不太好解释了，通过观察了码率的分布图，我们发现当时码率非常低，实际上，在这段时间正好是普京讲话，这是一个相对静止的画面，由于采用了VBR，码率发生了剧烈的波动，从而引起带宽剧烈波动。

这种波动对通常的直播是没有问题的，不同的用户在看不同的直播，所以码率的峰值叠加起来会趋向于码率的平均值。但是世界杯的场景下，有70%的流量都观看相同的直播内容， CDN的带宽非常高，这使得CDN的带宽随着码率的波动而波动。通常的CDN通常会使用当前的水位来评估一个新进用户应该放在什么CDN节点，或者说根据一些历史的状况估计CDN放在什么节点。在世界杯中，这个问题通过CDN引入新型的调度策略来解决。

帧内码率分配

帧内码率分配考虑的是如何在一帧图像内对码率分配，以得到最好的视觉效果，我们会根据人眼的关注点来调整码率分配。在上图中，人眼关注的重点毫无疑问是梅西的头像，人眼可能会对后面虚化的内容不关注。所以在做转码处理的时候，会优先考虑这个图像的聚焦区在那里，在这些地方提高它的码率。另一方面，人眼对规则的纹理非常敏感，这部分也需要分配更多的码率，而在脱焦区域，我们会适当的减少一些码率。通过上述手段，整个视频的码率没有上升，但人眼的主观感觉会更清晰。