参数高效的实例自适应神经视频压缩

基于学习的神经视频编解码器（NVC）已成为标准视频编解码器的引人注目的替代方案，展现出了有前景的性能，以及简单且易于维护的流程。然而，由于仅推理的压缩方案及其对训练数据的依赖，NVC 通常在压缩性能上有所不足，并且偶尔表现出较差的泛化能力。实例自适应视频压缩技术最近被提出作为一种可行的解决方案，针对特定的测试实例视频微调编码器或解码器网络。然而，微调所有模型参数会产生高昂的计算成本，增加比特率，并且通常导致训练不稳定。在这项工作中，我们提出了一个参数高效的实例自适应视频压缩框架。受参数高效微调在大规模神经网络模型上取得显著成功的启发，我们提出使用一个轻量级适配器模块，该模块可以轻松附加到预训练的 NVC 上并针对测试视频序列进行微调。与现有的实例自适应视频压缩算法相比，所得到的算法显著提高了压缩性能并减少了编码时间。此外，所提出的微调方法增强了训练过程的鲁棒性，使得所提出的方法能够在许多实际环境中被广泛使用。我们在包括 UVG、MCL-JVC 和 HEVC 序列在内的各种标准基准数据集上进行了广泛的实验，实验结果表明，与基线 NVC 相比，率失真（RD）曲线（高达 5 dB PSNR）和 BD 率均有显著改善。我们的代码可在 https://github.com/ohsngjun/PEVC 获取。