实例自适应视频压缩：通过在测试集上训练改进神经编解码器
图像与视频处理
2023-06-26 v2 计算机视觉与模式识别
机器学习
摘要
我们提出了一种基于实例自适应学习的视频压缩算法。对于待传输的每个视频序列，我们对预训练的压缩模型进行微调。最优参数与潜码一同传输给接收端。通过在合适的混合模型先验下对参数更新进行熵编码，我们确保网络参数能够被高效编码。该实例自适应压缩算法与基模型的选择无关，并有望改进任意神经视频编解码器。在 UVG、HEVC 和 Xiph 数据集上，我们的编解码器将尺度空间流模型的性能提升了 21% 至 27% 的 BD 码率节省，并将最先进的 B 帧模型的性能提升了 17% 至 20% 的 BD 码率节省。我们还证明了实例自适应微调提升了对域偏移的鲁棒性。最后，我们的方法降低了对压缩模型的容量需求。我们展示即使在将网络规模缩减 70% 后，它仍能实现有竞争力的性能。
引用
@article{arxiv.2111.10302,
title = {Instance-Adaptive Video Compression: Improving Neural Codecs by Training on the Test Set},
author = {Ties van Rozendaal and Johann Brehmer and Yunfan Zhang and Reza Pourreza and Auke Wiggers and Taco S. Cohen},
journal= {arXiv preprint arXiv:2111.10302},
year = {2023}
}
备注
Matches version published in TMLR