March 4, 2021
By Jan De Cock Synamedia编解码器开发总监
Featured Articles

导航一个多编解码器的世界

视频分发已经发展成为一个巨大的生态系统, 因此，新的视频格式出现是很自然的，公司有各种各样的理由推出新的标准. MPEG, 特别是当ITU-T加入时, 非常成功地将公司聚集在一起, 该领域的技术和知识产权. 这导致了MPEG-2和H等成功的故事.264/AVC，并在大多数“传统”广播业务中占据主导地位.

On the Internet, 格式一直在不断增加, 小型和大型科技公司在哪里发挥了作用. 其中一些格式，如Windows Media Video 9，是标准化的(如SMPTE VC-1)。. 其他格式，如MPEG-4 Visual，在(非法)下载市场上变得流行起来. 在90年代末和00年代, 我们看到它们与RealVideo等格式共存, TrueMotion VPx, Theora and H.263. 随着互联网上自适应流媒体的引入, AVC成为大多数流媒体服务的首选格式.

在广播和互联网发行, AVC导致了罕见的整合, 并且可以被认为是近几十年来最大的技术成功之一. 它导致了在技术领域罕见的主导地位, 类似于用于静态图像编码的JPEG(来自未来的外星技术),Mozilla的Tim Terriberry如是说。). For a long time, 问题不是, 您使用的是哪种视频标准, but rather, 您使用的是哪种AVC配置文件.

最近，我们再次看到越来越多的碎片化. 从2010年HEVC标准化开始, 众所周知，存在比AVC优越得多的技术, 但许可的不确定性推迟了向HEVC的过渡. 目前HEVC有一些发展势头，主要是针对优质内容. 但与此同时，向VP9和AV1等格式的平行发展已经站稳了脚跟. 进一步的努力产生了VVC、EVC和LCEVC等格式. 在中国市场，平行的标准化工作已经导致了AVS系列标准(Figure 1).

视频编解码器和格式的演变

Figure 1. 视频压缩标准的演变

业界似乎一致认为，我们将继续生活在一个多编解码器的世界中. 虽然牵涉到大量的金钱，但这并不是一场真正的战争，就像人们常说的那样. Rather, 这是与不同用例共存的格式的业务现实, 公司出于不同的原因支持格式. 中立的用户不应该关心所有这些格式, 并不是我们目前看到的所有格式都能发挥重要作用. 有些格式会找到合适的用例, 而另一些则会在很长一段时间内继续占据主导地位，并逐渐被未来的继任者所取代. 其他人则会默默淡出.

这种情况至少还会持续一段时间——尽管有可能再次出现整合.

是什么导致了原始碎片?

AVC获得了巨大的成功，在所有账户上都提供了非常强大的产品. 与MPEG-2和MPEG-4 Visual相比，压缩效率的提升是显著的, 时机与向高清的过渡是一致的，授权条款当然是合理的. 当时是联合视频团队成员的公司, 一个相对较小的群体, 在过去的二十年里，他们一直在从标准化参与中获益吗. AVC于2003年进入市场, 虽然高效的软件和硬件编解码器花了几年的时间才出现, 它们仍然非常流行(想想编码方面的x264). Up to today, AVC是互联网上广播和比特传输的主要格式, 在未来几年，它将继续作为最大的公分母格式.

当HEVC在2012年推出时，一切都准备复制同样的成功. 大量的公司, 研究所和研究人员对该标准做出了贡献, 但一旦最终敲定, 等待的游戏开始了. 等待实时编码器, first in software, 然后是硬件，但主要是硬件, 供专利权人申报其知识产权, 专利池宣布合理的许可条款.

2015年，尽管市场上已经出现了像样的HEVC编码器，但不确定性仍然存在. 在那个时候，进入HEVC似乎是一项冒险的尝试. In that year, 谷歌推出了VP9，突然, 有几家公司(包括Google/YouTube和Netflix)放弃了MPEG系列的编解码器. 通过正确的编码器实现，VP9是HEVC的有力竞争者. 不过，大家还是一致认为，有可能出现更好的形式. 只要有合适的公司组成的财团, 在VP9的基础上, 可以建立一个强大的联合编解码器. 这就是amedia诞生的原因.

最终，这一举措成为了经济现实. amedia的创始人意识到，通过超越AVC，可以节省大量的互联网流量. 许可问题阻碍了他们的发展, 而是随着技术的进步，人们愿意更好地管理互联网, 导致替代方案的势头日益强劲. In general, 如果传统组织行动不够快, 他们将被拥有更强技术力量的行业组织所超越, 更敏捷. 视频市场太大了, 它对整个互联网流量的影响太大，以至于少数专利持有者无法阻止. 对单个大公司的财务影响足够大，足以保证在不受不合理许可条款阻碍的下一代格式上进行大量投资.

尽管AOMedia的“开放性”有时会受到质疑, 在AV1中，我们看到了一个开放的标准，有几个(开源)实现，比以前更快地进入市场. AV1和VVC一样通用，并且已经用于流媒体、网络会议(see e.g. 思科宣布AV1支持WebEx和低延迟应用.

一个标准成功的基本要素是什么?

新的视频格式总是层出不穷, 公司或研究机构有各种各样的理由引进它们. 有些提供显著的压缩优势, 而其他的则是针对特定的用例量身定制的, 还有一些声称是免版税的. 不管它们背后的原理是什么，并不是所有的格式都具备成功的条件. 有些人是这样做的，但他们未能在他们周围创造动力. 成功的格式往往有一些共同的特点.

技术进步

为了达到新的标准，压缩效率需要有一定的飞跃. 在相同的比特率下，你能给你的观众提供什么样的感知质量? 你能给观众提供更高质量的体验吗? 你能以可接受的比特率提供下一步的分辨率吗? Often, 这个问题反过来变成了, 在相同的质量下获得了多少比特率的降低, and therefore, 新格式能节省多少成本啊. 因此，从投资的角度来看，问题在于一个合理的门槛. 通常使用50%的阈值，这对于某些用例仍然是正确的. 对于广播界来说, 升级硬件的成本通常是巨大的, 成本/渠道是一个重要的基准. 在同等质量下降低50%比特率可能是一个合理的投资门槛, 考虑到更换诸如头端之类的系统的巨大开销. Also here though, 我们看到越来越多的人转向软件, 缩短了采用周期, 投资门槛较低.

对于OTT视频来说，更快地创新是有意义的. 在这种情况下，20-30%的比特率降低就足够了. benefits. In this case, 编码成本通常不是瓶颈, 一旦有了相当快的软件编码器. 分销/CDN成本和体验质量(QoE)在这里至关重要. 一方面，您减少了网络上的比特数，并可能提高视觉质量. 另一方面，您可能会在缓存效率、客户机QoE和存储成本方面受到影响. (Caching efficiency goes down when offering more formats; rebuffers might go up, and battery life could be affected; storage goes up since you’re not necessarily replacing your catalog, 而是添加新的配置文件.)

支持新的用例

幸运的是，大多数最新的格式都是“通用的”，足以支持所有常见的用例. 一些标准为多视图/3D和可伸缩编码等用例提供了扩展, 哪些是利基案例中需要的. Typically though, 标准被优化到一定的分辨率, 这种优化水平可能会促使你采用一种新的格式. 这就解释了为什么你仍然看到格式的选择与屏幕分辨率密切相关, 以及e的转换.g. 标清转高清，高清转超高清，超高清转8K. 现在的时机可能是对的, with 5G, 交互式应用程序, 8K(2021年奥运会等重大赛事)可能成为AV1和VVC等下一代格式的驱动因素.

合理的许可条款

对于某些格式，许可条款太长时间不为人所知，或者专利池变得过于苛刻. And true, 你可以在“免版税”周围加上引号,因为从法律上讲，没有任何保证. But still, 我们已经收到了要求更明确授权的信息, 免版税倡议的势头也在不断增长, 大公司都在支持这些模式. 在AOMedia的案例中，这导致了一个巨大的财团和专利池的形成. 在MPEG中，这导致了EVC标准中的免版税配置文件.

Critical mass

如果临界质量在开始时不存在, 您仍然可以在前面的项目中提供强大的产品, 但这将是一场艰苦的战斗. 随着大量的支持者围绕着VVC，它的生态系统得到了迅速的推动. amedia中的AV1也是如此. 对于AV1的继任者, AV2, 预计从一开始就会有更大的amedia代表更积极地参与进来. 创造这一临界质量的关键是一个坚实的代表 client ecosystem 并且拥有合适的软件/硬件实施公司. 对于互联网发行，浏览器支持在过去一直是至关重要的. 针对不断增长的手机市场, 支持流行的操作系统(iOS, Android)和移动芯片组意味着巨大的推动.

未来会带来什么?

我们都没有水晶球, 因此，提供绝对数字或详细预测是没有用的. Rather, 这些趋势是基于不同格式的优势和对其安装基础的期望, 这里有描述, 并在下面的“采用曲线”中表示(图2和图3).

获取当前的格式列表, 上一节提到的优势主要存在于AV1和VVC中. 在不同的阵容中，VVC显示出最好的压缩效率. 最重要的是，它有一个庞大的贡献者基础. 不过，它的受欢迎程度在很大程度上取决于它的许可条款.

另一方面，AV1的部署已经在增长. In general, 免版税编解码器的发展势头非常强劲, 与一个不仅在互联网流媒体方面占据主导地位的大型财团合作, 同时也代表了主流浏览器和消费设备. amedia不仅拥有经常被引用的原始成员, 但在过去的两年里, 其他巨头也纷纷效仿, such as Apple, Facebook和三星. 合并后的amedia专利组合令人震惊. 再加上硬件公司, encoder developers, 以及不断壮大的(开源)开发者社区. 唯一缺少的是一个强大的广播公司, 这是Synamedia加入amedia的原因之一吗.

如何采用格式取决于用例, 我们仍然期待广播和OTT视频之间的分裂. Nonetheless, 在这两个世界中，更灵活的基于软件的解决方案的趋势推动了越来越多的融合.

OTT格式和编解码器

Figure 2. 对格式采用的期望 OTT ecosystem.

On the OTT side (Figure 2), AVC仍然占主导地位, 并被认为是后备方案, 有了它，你几乎可以接触到所有设备. HEVC的使用相对有限, 但最近有所回升, 现在我们对许可条款有了更好的理解, 而且有超过10亿个芯片支持HEVC解码. 通常，它被认为是高级内容的格式，包括4K和HDR/WCG内容. HEVC的市场份额预计将在未来几年增长, 然后再次贬值，以支持VVC和AV1. 考虑到它的大解码器支持，VP9仍然是相关的. 其中包括Netflix, Twitch和YouTube已经部署了VP9(包括谷歌最近推出的Stadia在线游戏平台)。, 这使得它在互联网上占据了合理的份额. 强大的编码器和解码器实现是可用的，在硬件和软件. 使用正确的编码器实现, 在压缩效率方面，VP9可以被认为是HEVC的一个接近的替代品.

Obviously, AV1是OTT领域的新兴格式, 越来越多的AV1支持公告. 有几种可用的实现不断提高效率, 都是在压缩效率方面, and cycles (实现包括 libaom, SVT-AV1, Google libgav1, Mozilla rav1e, 和专有编码器，如Visionular和EVE-AV1). 在AV1的早期, 编码AV1需要大量的CPU周期, 但那些日子已经过去了. 现在可以通过合理的CPU周期实现HEVC的显着增益. 即使是作为实时视频格式，AV1也越来越受欢迎(例如，参见WebRTC的进展，以及e.g. WebEx)硬件支持也在不断增长. AV1结合了AVC、VP9和HEVC的优点，具有替代AVC、VP9和HEVC的效率. 我们希望在几年内实现这一目标, AV1将成为互联网视频流量的主导, 遗留设备的AVC长尾, 以及iOS设备上的优质内容的HEVC.

On the broadcast side (Figure 3)，情况有些不同. In many cases, 硬件升级速度较慢, 比如机顶盒, 必须被考虑进去吗. 在其他情况下，广播公司将遵循国家或地区标准，如ATSC或DVB. 因此，新格式的突破将受到政府和标准化组织的选择的强烈影响.

广播格式和编解码器

Figure 3. 对格式采用的期望 broadcast ecosystem

显然，美国广播公司在广播领域仍占主导地位, 但HEVC的发展势头正在增强, 尤其是超高清频道. 由于遗留原因，MPEG-2仍然存在, 实际上，我们有理由继续在MPEG-2编码上进行创新(ATSC的过渡正在发挥作用，它是我们使MPEG-2编码更加高效的动力)。. 尽管AV1有可能取代HEVC，但到目前为止，AV1在中国还不太受关注. VVC显然有优势在未来的广播市场中占有很大的份额，并且比HEVC提供了足够显著的压缩增益，被认为是它的继任者. Still, 这将取决于知识产权持有人和许可条款，这些条款将在围绕MC-IF (媒体编码产业论坛，这是一个促进VVC专利池形成的倡议. 第一批结果已于 http://www.mc-if.org/). 与4K是HEVC采用的驱动因素类似，8K可能是VVC采用的激励因素. 尽管行业将缓慢地向如此高的分辨率迈进, 我们已经看到8K电视的销量有所上升, 而体育赛事可能会加速这种做法的采用.

我们的预期是在5年内, AVC和HEVC仍将瓜分市场, 随着VVC的崛起, AV1的一小部分, 以及MPEG-2的长尾.

OTT部署如何选择格式

至少在一段时间内，多编解码器的世界将继续存在. 针对OTT实现者和分销商, 提供多种格式是有意义的, 为每个平台和用户提供最高的QoE. 尽管如此，在支持的格式方面还是有一个突破点. 支持2-3种格式可能是可持续的, 在你的目录中提供这些替代品是一种健康的权衡. 支持4-5种或更多的格式变得非常昂贵, 并导致实现和/或支持方面的头痛, 存储成本高, 降低CDN上的缓存效率. (更多的缓存丢失将导致QoE的降低和更高的成本, 即使在支持的时候也更有效率, 但很少使用的格式.)

最后，您希望以合理的成本获得最高的QoE. 必须做出选择，如前所述，客户支持是这里的关键. 这里不需要动脑筋的是提供AVC流作为最大的公分母. 如果需要提供超高清流, 可能会支持DolbyVision和/或HDR10, HEVC可能是一个不错的选择, 以接触高端移动设备和最新的电视机. 适用于Android设备和浏览器, VP9仍然是一个很好的格式, 但我们已经到了AV1应该比VP9更受欢迎的地步了, 具有更广泛的覆盖范围和额外的压缩性能增益.

HEVC可以从上面的列表中删除吗? Probably not, 考虑到拥有HEVC解码器的设备数量, 只要iOS不支持VP9或AV1. VP9和AV1可以从上面的列表中删除吗? 可能不会，除非您想在浏览器上退回到AVC. For now, 客户端支持的二分法仍然需要两种高效的格式(如HEVC和AV1)。, 在长尾格式(AVC)之上. And in any case, 现在考虑VVC还为时过早, 作为高效的客户端解码器还需要1-2年的时间.

等一下，其他标准呢?

细心的读者已经注意到，在上面的讨论中遗漏了一些格式. 这是否意味着他们不能发挥作用? Not necessarily. EVC等格式得到了控制着移动芯片组市场巨大份额的科技公司的支持. Still, 问题仍然是他们的战略在哪里, 考虑到AV1和VVC比EVC的两个剖面都有优势. 硅区很贵, 因此，一个重要的问题是，主要芯片组将支持哪些格式. Recently, 据报道，高通没有在其骁龙888系列中包含AV1(尽管它支持VP9)。. 三星和高通是否会决定投资EVC的晶体管, 或者在将来直接跳到AV1和/或VVC? 在前者的情况下，这可能会促进移动客户端的EVC使用. EVC和其他形式将需要证明它们能够在某些利基领域创造足够的临界质量或效益.

有出路吗?

MPEG最近经历了一次重大调整. Still, 预计MPEG将继续产生高质量的标准，并进一步扩展和继承VVC. 与此同时，AOMedia已经开始为AV2做准备. On top of that, 公司可能会继续推动他们的专有格式成为标准, 希望将他们的知识产权变现. 因此，多编解码器的世界将继续存在.

In general, 我们很难忽视amedia周围巨大的临界质量, 自从三星和苹果加入了最初的创始成员，情况就更加如此了. 两者都为客户端生态系统带来了巨大的补充，这可能是拼图中缺失的部分. 如果所有现有成员从一开始就为AV2做出贡献, 并确保他们所有的用例和关注点都得到了处理, 这可能会产生一个非常强大的AV2格式，甚至在它最终确定之前就得到了前所未见的行业支持. 未来会比现在更光明，更简单.