基于优化的比特分配
计算机视觉与模式识别
2023-05-10 v5
摘要
在本文中，我们考虑神经视频压缩（NVC）中的比特分配问题。首先，我们揭示了 NVC 中的比特分配与半摊销变分推断（SAVI）之间的基本关系。具体而言，我们表明具有 GoP（图像组）级似然的 SAVI 等价于具有精确码率与质量依赖模型的像素级比特分配。基于该等价性，我们建立了使用 SAVI 进行比特分配的新范式。与先前的比特分配方法不同，我们的方法不需要经验模型，因此是最优的。此外，由于原始使用梯度上升的 SAVI 仅适用于单级隐变量，我们通过递归地反向传播通过梯度上升将 SAVI 扩展到多级（如 NVC）。最后，我们提出了一种可处理的近似以用于实际实现。我们的方法可应用于性能优先于编码速度的场景，并作为比特分配率失真（R-D）性能的经验界。实验结果表明，当前最先进的比特分配算法相比我们的方法仍有约 dB PSNR 的提升空间。代码见 \url{https://github.com/tongdaxu/Bit-Allocation-Using-Optimization}。
引用
@article{arxiv.2209.09422,
title = {Bit Allocation using Optimization},
author = {Tongda Xu and Han Gao and Chenjian Gao and Yuanyuan Wang and Dailan He and Jinyong Pi and Jixiang Luo and Ziyu Zhu and Mao Ye and Hongwei Qin and Yan Wang and Jingjing Liu and Ya-Qin Zhang},
journal= {arXiv preprint arXiv:2209.09422},
year = {2023}
}
备注
ICML 2023