利用低复杂度 CNN 消除视频编码中的非局部冗余

数字媒体无处不在且产量持续增长。这要求压缩技术尤其是视频压缩技术不断演进，以维持高效的存储与传输。本文旨在利用视频数据中传统视频编解码器难以消除的非局部冗余。我们设计了特别注重低内存与低计算开销的卷积神经网络。这些网络的参数在编码时在线训练，以从解码视频信号预测残差信号。训练过程收敛后，参数被压缩并作为底层视频编解码器码流的一部分进行传输。该方法可应用于任何现有视频编解码器以提升编码增益，且其低计算开销允许在资源受限条件下使用。基于高效视频编码(High Efficiency Video Coding)，我们取得了与预训练去噪 CNN 相近的编码增益，而所需计算复杂度仅约为其 1%。通过大量实验，我们深入分析了网络设计决策的有效性。此外，我们证明了算法在实际视频压缩条件下性能稳定：在很长的随机访问段（多达 256 帧）上性能无显著损失，且性能仅有适度下降时甚至可应用于高分辨率低延迟设置中的单帧。