神经视频编码的速-失真-复杂度权衡
图像与视频处理
2024-10-08 v1
摘要
本文旨在深入探讨现代神经视频编码的速-失真-复杂度权衡。近年来，大量研究致力于探索神经视频编码的潜力。条件自编码器已成为高效神经视频编码的主流方法。条件自编码器的核心思想是利用空间和时间信息以获得更好的条件编码。然而，最近的研究表明，条件编码可能受到信息瓶颈，可能不如传统残差编码性能好。为解决此问题，近期的条件编码方法采用大量高分辨率特征作为条件信号，导致乘法-累加运算、内存占用和模型大小显著增加。以 DCVC 为 common code base，我们探讨了新提出的条件残差编码及其变体如何在速、失真和复杂度之间取得更好的平衡。
引用
@article{arxiv.2410.03898,
title = {On the Rate-Distortion-Complexity Trade-offs of Neural Video Coding},
author = {Yi-Hsin Chen and Kuan-Wei Ho and Martin Benjak and Jörn Ostermann and Wen-Hsiao Peng},
journal= {arXiv preprint arXiv:2410.03898},
year = {2024}
}
备注
Accepted to MMSP 2024