深度上下文视频压缩

现有大多数神经视频压缩方法采用预测编码框架，即先生成预测帧，再用当前帧对其残差进行编码。然而，就压缩比而言，预测编码只是一种次优方案，因为它使用简单的减法运算来消除帧间冗余。本文提出一种深度上下文视频压缩框架，以实现从预测编码到条件编码的范式转变。具体而言，我们试图回答以下问题：在深度视频压缩框架下如何定义、使用和学习条件。为挖掘条件编码的潜力，我们提出使用特征域上下文作为条件。这使我们能够利用高维上下文向编码器和解码器传递丰富信息，从而有助于重建高频内容以提升视频质量。我们的框架还具有可扩展性，其中的条件可被灵活设计。实验表明，我们的方法能显著优于以往的 SOTA 深度视频压缩方法。与采用 veryslow 预设的 x265 相比，我们在 1080P 标准测试视频上可实现 26.0% 的比特率节省。