April 15, 2019
By Jan Ozer Contributing Editor
Featured Articles

NAB 19编码和QoE亮点:这是重要的

每年我去NAB的时候，并没有任何与产品相关的期望. 我的日程安排杂乱无章，没有条理分明, 那里挤满了我想见的公司和朋友，还有一些公司的营销人员很积极，碰巧在合适的时间打电话来. 再加上我有几分钟的时间在展示厅吸引我眼球的随机公司. So, 这是“Jan在NAB上看到了什么”，而不是在展会上“所有重要的流媒体相关进步”.

Everyone who knows what an encoding ladder is should read the first section; thereafter, 我把这些技术分成几个部分，这样你就可以快速浏览一下，看看哪些可能与你相关. I hope you find this useful.

The Next Big Thang

On December 14, 2015, Netflix通过引入每个标题的编码，废除了固定的编码阶梯, 它会根据每个视频的独特内容创建一个特定的阶梯. At NAB 2019, 逐标题编码被上下文感知编码的概念所淘汰, 它结合了视频的独特内容以及网络和设备使用统计数据来创建一个阶梯，根据观众的实际观看方式来优化每个视频的质量. Context-aware encoding can cut encoding, storage, 而带宽成本和观众体验质量的提高.

这个概念很简单:QoE信标和网络日志提供诸如查看器的有效带宽之类的详细信息, 他们用来看视频的设备, 以及在编码阶梯上的观看分布. 您的编码阶梯应该考虑这些数据和内容.

第一个将这个概念产品化的是 Brightcove及其上下文感知编码 (CAE). In a white paper entitled 优化大规模多屏视频传输, Brightcove的作者为同一视频为三个不同的运营商创建了一个编码阶梯, the first with primarily mobile viewers, 第二类主要面向PC和电视观众, 第三种是专门通过电视观看高带宽的观众. Figure 1 显示为每个操作符创建的编码阶梯，同样是针对相同的内容.

Figure 1. Brightcove的上下文感知编码(CAE)基于设备和网络统计为相同的内容生成三种不同的阶梯.

本文将这些阶梯与推荐的HLS编码阶梯进行了比较 Apple HLS Authoring 说明和说明了三个定制的梯子如何减少场景的数量和整体存储空间, 以及减少带宽和/或提高体验质量. 它为CAE提供的价值描绘了一幅引人注目的画面.

Brightcove已经部署CAE一年多了, while at NAB, 至少有两家公司——epic Labs和mux——透露了他们的类似想法. Epic Labs在一款名为 LightFlow 并且至少有一个高容量用户，Mux补充道 Audience Adaptive Encoding to its encoding stack in April.

Figure 2. 带宽和设备数据反馈到Epic实验室的LightFlow系统.

有关Brightcove和Epic Labs产品的更多信息，您可以观看我对 Epic Labs的创始人兼首席执行官Alfonso Peletier说.

您现在可以用现有的编码工具和工作流程做些什么? Besides signing on with these companies, 您可以仔细查看查看器最常用的设备分辨率，以及通常使用的编码阶梯的等级, then make some common sense adjustments. Many, 许多主要服务于北美的组织, Europe, 远东国家会发现他们的大多数观众都在看前两三个流媒体，他们可以从梯子的底部削减一到两个梯级，而不会降低QoE. Conversely, 对于那些主要服务于低比特率观众的人来说，最好将大部分梯级集中在这个范围内的观众. 快速浏览一下图1可以为这些工作提供指导.

From my perspective, under any name, 将网络和设备数据整合到编码阶梯公式中是我在NAB看到的最重要的技术. But there were many other bright spots. Here’s a quick synopsis.

What Twitch Is Up To

Twitch.tv是一家进步且非常成功的运营商，通过为我们的文章做出贡献并在我们的会议上发言，它非常亲切地与流媒体观众分享其专业知识. Twitch的明星之一是首席(7级)研究工程师Yueshi Shen & Engineering Manager. In an interview, Yueshi shared Twitch’s plans for adopting VP9 and AV1, 以及为什么恒定比特率编码在向成千上万的现场观众进行流媒体传输时是绝对必要的.

On the VOD Encoding Front

我开始我的NAB与Telestream讨论 Vantage Cloud port with marketing director Ken Haren. At a high level, 该端口使Vantage客户能够部署许多以前只能在内部部署的工作流 up to the cloud这是一个关键的好处，因为越来越多的公司将中间资产存储在云中.

在我的下一站Capella Systems，我讨论了 Cambria FTC, the company’s flagship VOD encoder. Like Telestream, Capella为Cambria添加了云功能, 特别是启动运行Cambria的AWS实例并将编码分发到这些实例的能力，就像您在本地编码场上运行任何其他Cambria实例一样. Capella创建了用户在Cambria中启动和控制的AMI预设. 它非常适合将溢出编码需求推到云端，同时以最经济的方式将正常负载编码到现有系统.

另一个新特性是能够导入基本流并将其打包为DASH或HLS格式. 这允许生产者对其内容进行一次编码，并根据需要对其进行打包，以满足其他发行目标. This two-step encode-then-package workflow, 是否比对每种输出格式从头开始编码更有效.

On Wednesday, I interviewed Encoding.com founder and CEO Greggory Heil. 除了讨论最近发布的 Global Format Report, Heil强调了编码和解码Apple ProRes等新功能, the ability to output Dolby Vision, and Ludicrous HLS，它将源文件分割成更小的段以加速编码. 与上面关于每个上下文的讨论形成一个有趣的对比, 采访结束后，我问Heil为什么要编码.com didn’t yet offer per-title encoding. 他回应道，虽然每个游戏都在他们的路线图上, 这在他们的用户中并不是一个要求很高的功能.

我与AWS Elemental短暂会面，讨论AWS MediaConvert的加速编码, like Encoding.com’s Ludicrous HLS, 将视频分割成块馈送到多个编码器，以加速编码高达25倍.

我还与cloud-encoder的首席执行官Murad Mordukhay进行了交流 Qencode该公司提供按标题编码的形式，定价极其激进，比如0美元.004 per-minute for SD encoding. 该服务支持所有相关的输入和输出格式, including AV1, 任何寻求云编码设施的公司都值得一看.

Hardware-Based Encoding and Decoding

硬件转码是我感兴趣的一个话题，因为我将在Streaming Media East上谈论这个话题. NETINT是一家提供高密度解决方案的公司 showed the Codensity T400 video transcoder based up the company’s own Codensity G4 SSD Controller SoC (system on a chip), capable of scalable H.264/H.265转码最多单个4K/60p或8x 1080p流. Codensity芯片采用了目前在许多企业级存储服务器中常见的NVMe连接，以实现高密度解决方案.

我还会见了Anil Saw，产品策略顾问 Softiron他展示了他们的高密度HyperCast编码器，该编码器是围绕Socionext的MB86M30 soc构建的. HyperCast可以在1RU的形式中支持多达32个soc, 每个SoC可以编码多达一个4K60流或四个1080p60流, 每个有多达六个视频和两个音频输出. NETINT和Softiron都瞄准了电信、有线、卫星和云视频服务提供商.

NGCodec开发、推广和销售基于赛灵思fpga的硬件编码器. At NAB, NGCodec演示了实时HEVC和AV1转码，他们声称比其他基于硬件的H提供了30%的压缩效果.265 and VP9 encoders. Note that this is the technology used by Twitch TV 一些基于硬件的VP9转码.

AV1实时编码是一种技术预览，仅支持i帧. HEVC的双密度编码也是新的，它使每个FPGA的输出容量增加了一倍. NGCodec编码作为一项AWS服务可用，使其具有很高的可访问性. 我和公司总裁Oliver Gunasekara谈过，得到了一些信息 candid remarks about the newly announced Intel/Netflix’s SVT/AV1 codec.

同样在硬件方面，Beamr也表现出色 hardware-accelerated CABR (内容自适应比特率编码)基于英特尔图形技术GPU. At a high level, Beamr将自己的速率控制机制插入到英特尔GPU的HEVC编码管道中, 所以beam做速率控制，而Intel CPU做HEVC编码. This accelerates Beam’s content-adaptive 编码性能，但质量可能无法与Beamr自己的基于软件的HEVC编码器的质量相匹配.

有趣的是，英特尔似乎正在用它的 SVT-AV1 公告以及相关的HEVC、VP9和H.264 codecs. Beamr正在进入这个领域，应该能够扩展 content-adaptive 功能的任何GPU, CPU, FPGA，或其他硬件与H.264或HEVC编码通过Beamr CABR SDK.

上述所有公司都使用硬件进行发行编码. 在贡献方面，我采访了LiveU工程副总裁Daniel Pisarski HEVC works in the LiveU ecosystem 以及何时5G将成为贡献的关键. 简单地说，HEVC很快就会成为LiveU用户所青睐的格式, 尽管所有的传输都必须通过LiveU的云服务，在那里信号从设备上的各种调制解调器组装而成, transcoded to H.264, and streamed to the ultimate target. 皮萨尔斯基预计，5G将在未来12至24个月内变得重要起来.

Quality and QoE Monitoring

SSIMWave是SSIMPlus指标的开发者, 用于VOD和实时监控的功能强大且轻量级的度量, and offers exceptional device support. 在NAB会议上，我了解到公司参与了 ASC运动成像技术委员会HDR评估工作组. 目标是评估在HDR制作工作流程中使用的不同技术和格式如何保持“原始创意意图”,以及“校准HDR的SSIM +结构相似性视觉感知质量度量”, wide-color, 超高分辨率视频材料，基于专业摄影师和色彩师的反馈，他们制作和色彩等级这些材料.”

In essence, via input from these golden-eyes, SSIMplus将“训练”HDR输出的准确性, 是什么让它成为HDR制作的选择指标. 为HDR评估创建的几个源/编码比较屏幕已经进入了SSIMWave零售产品, 包括一个很棒的屏幕，用于比较源和编码输出之间的颜色相关差异.

我和来自QoE供应商的人度过了愉快的30分钟 Nice People at Work, who always seem to live up to their name. I spoke to Jonathan Shields about the NPAW product line，包括他们的防流失和CDN切换工具的视频. 我们还花了一些时间讨论哪些视频发行商已经采用了QoE解决方案, and which haven’t but should. Basically, 希尔兹提出了一个强有力的证据证明视频对行动至关重要, then QoE should be, as well.

Finishing Up

还有几家一次性的公司，它们的产品不能完全归入任何类别. One of these is Mediamelon, whose SmartPlay Streaming 是一种交付端每标题优化器. That is, 该服务测量ABR组中的流的质量，只有当它确实提高了观看者所感知的质量时才分配更高带宽的流. So, 简单的场景可能以1080p@3 Mbps的速度被检索，而更高的动作场景将以1080p@5 Mbps的速度被接收. 该系统还可以提前下载复杂场景的视频，以避免在受限条件下缓冲较大的片段.

We reviewed the product under the name QBR. Though QBR worked well, it had one severe limitation; it only worked when all the rungs in a ladder were encoded at the same resolution, 哪一个与大多数推荐的方法相反. That issue has happily been resolved, 该公司还进一步完善了用于衡量编码阶梯中流质量的内部度量标准.

That metric, called MediaMelon iMOS, runs at faster than real-time, which is great, 但我想知道分数与VMAF的接近程度, 我最信任哪个指标来评估完整的编码阶梯. MediaMelon提供的比较如 Figure 3，这表明这两个指标之间存在合理的相关性. So, if you believe in VMAF, iMOS应该能很好地预测你的观众实际会看到的质量, 这意味着SmartPlay流媒体应该有效地为您工作.