Butterfly：用于神经视频压缩的多参考帧特征传播机制
计算机视觉与模式识别
2023-03-07 v1 多媒体
图像与视频处理
摘要
在神经视频压缩中使用更多参考帧可显著提升压缩效率。然而，在低延迟场景下，大多数现有神经视频压缩框架通常仅使用前一帧作为参考。或使用前多帧作为参考的少数框架仅采用了简单的多参考帧传播机制。本文提出了一种更合理的用于神经视频压缩的多参考帧传播机制，称为蝴蝶多参考帧传播机制（Butterfly），其允许更有效的多参考帧特征融合。由此，我们能为上下文编码模块生成更准确的时间上下文条件先验。此外，当已解码帧数不满足所需参考帧数时，我们复制最近的参考帧以满足要求，这优于复制最远的参考帧。实验结果表明，我们的方法可显著优于先前的最先进（SOTA）方法，且在与基准单参考帧模型相同压缩配置下，我们的神经编解码器在 HEVC Class D 数据集上可实现 -7.6% 的比特率节省。
引用
@article{arxiv.2303.02959,
title = {Butterfly: Multiple Reference Frames Feature Propagation Mechanism for Neural Video Compression},
author = {Feng Wang and Haihang Ruan and Fei Xiong and Jiayu Yang and Litian Li and Ronggang Wang},
journal= {arXiv preprint arXiv:2303.02959},
year = {2023}
}
备注
Accepted by DCC 2023