三明治式视频压缩：利用神经封装高效扩展标准编解码器的能力边界

我们提出三明治式视频压缩——一种在标准视频编解码器外围包裹神经网络的视频压缩系统。该三明治框架由神经前处理器和后处理器组成，二者之间为标准视频编解码器。这些网络被联合训练以优化率失真损失函数，目标是在各种压缩场景下显著优于标准编解码器。此设置下的端到端训练需要标准视频编解码器的可微代理，其包含带运动补偿的时序处理、帧间/帧内模式决策以及环内滤波。我们提出了关键视频编解码器组件的可微近似，并证明除提供相对于标准编解码器有意义的压缩改进外，三明治的神经编码在两个重要场景下带来了显著更优的率失真性能。当通过低分辨率 HEVC 传输高分辨率视频时，三明治系统相较标准 HEVC 获得 6.5 dB 改进。更重要的是，使用著名的感知相似性度量 LPIPS，我们观察到在相同质量下相较 HEVC 码率有 30% 的改进。最后但并非最不重要的是，我们展示了由参数极少、轻量级网络构成的前处理器和后处理器可紧密逼近这些结果。