基于特征调制的神经视频压缩

新兴的基于条件编码的神经视频编解码器（NVC）显示出优于常用的基于残差编码的编解码器的优势，且最新的 NVC 已声称优于最好的传统编解码器。然而，仍存在阻碍 NVC 实用性的关键问题。在本文中，我们提出了一种强大的基于条件编码的 NVC，通过特征调制解决了两个关键问题。第一个问题是如何在单个模型中支持宽质量范围。此前具备此能力的 NVC 平均仅支持约 3.8 dB 的 PSNR 范围。为克服这一限制，我们通过可学习的量化缩放器对当前帧的潜在特征进行调制。在训练期间，我们专门设计了均匀量化参数采样机制，以改善编码与量化的协调性。这促进了对量化缩放器的更好学习，帮助我们的 NVC 支持约 11.4 dB 的 PSNR 范围。第二个问题是如何使 NVC 在长预测链下仍能工作。我们指出，此前的 SOTA NVC 在使用大帧内周期设置时存在明显的质量下降问题。为此，我们提出通过周期性刷新机制调制时间特征以提升质量。除了解决上述两个问题外，我们还设计了一个同时支持 RGB 和 YUV 色彩空间的单模型。值得注意的是，在单帧内设置下，我们的编解码器相比此前的 SOTA NVC 实现了 29.7\% 的比特率节省，同时 MACs 减少了 16\%。我们的编解码器是 NVC 演进旅程中的一个重要里程碑。代码位于 https://github.com/microsoft/DCVC。