用于神经图像编解码器的理论界限引导分层 VAE
图像与视频处理
2024-03-28 v1 机器学习
摘要
近期的研究揭示了变分自编码器 (VAE) 与率失真理论之间的重要理论联系，特别是在利用 VAE 估计图像信息率失真函数的理论上界方面。这种估计的理论界限远超现有神经图像编解码器 (NIC) 的性能。为了缩小这一差距，我们提出了一种用于 NIC 的理论界限引导分层 VAE (BG-VAE)。所提出的 BG-VAE 利用理论界限来引导 NIC 模型实现性能提升。我们使用分层 VAE 实现了 BG-VAE，并通过大量实验证明了其有效性。结合先进的神经网络模块，我们提供了一种多功能的变速率 NIC，在综合考虑率失真性能和计算复杂度时优于现有方法。代码可在 BG-VAE 获取。
引用
@article{arxiv.2403.18535,
title = {Theoretical Bound-Guided Hierarchical VAE for Neural Image Codecs},
author = {Yichi Zhang and Zhihao Duan and Yuning Huang and Fengqing Zhu},
journal= {arXiv preprint arXiv:2403.18535},
year = {2024}
}
备注
2024 IEEE International Conference on Multimedia and Expo (ICME2024)