面向内容自适应神经视频压缩的组感知参数高效更新

内容自适应压缩对于增强预训练神经编解码器适应各种内容的能力至关重要。尽管这些方法在神经图像压缩（NIC）中非常实用，但其在神经视频压缩（NVC）中的应用仍受限，主要源于两个方面：1）视频压缩高度依赖时序冗余，因此仅更新一个或少数几个帧会导致误差随时间显著累积；2）NVC 框架通常更为复杂，包含许多大型组件，在编码过程中难以快速更新。为此，我们开发了一种内容自适应 NVC 技术，称为组感知参数高效更新（GPU）。首先，为最小化误差累积，我们采用组感知方法更新编码器参数。这涉及采用基于块的组图（GoP）训练策略将视频分割为块化 GoP，以便进行更新，以实现全局优化的域可迁移解决方案。随后，我们引入参数高效的 delta 调谐策略，通过串行和并行配置将多个轻量级适配器整合到编码过程中的每个编码组件中。此类架构无关模块可刺激大参数组件，从而减少更新成本和编码时间。我们将 GPU 集成到最新的 NVC 框架中，并进行全面实验，其结果在四个视频基准测试和一个医学图像基准测试中展示了卓越的视频压缩效率和适应性。