鲁棒过拟合潜变量以实现灵活的神经图像压缩
计算机视觉与模式识别
2024-11-06 v3 机器学习
机器学习
摘要
神经图像压缩已取得长足进步。最先进的模型基于变分自编码器，其性能优于经典模型。神经压缩模型学习将图像编码为量化的潜变量表示，该表示可被高效发送至解码器，解码器再将量化潜变量解码为重建图像。尽管这些模型在实践中被证明是成功的，但由于优化不完善以及编码器和解码器容量的限制，它们会导致次优结果。近期工作展示了如何使用随机Gumbel退火(SGA)来精炼预训练神经图像压缩模型的潜变量。我们通过引入SGA+扩展了这一思想，SGA+包含三种基于SGA的不同方法。我们展示了与先前方法相比，我们的方法如何在率失真(R-D)权衡方面提升整体压缩性能。此外，我们展示了使用我们表现最佳的方法精炼潜变量如何提升在Tecnick和CLIC数据集上的压缩性能。我们的方法被部署用于预训练的hyperprior模型以及一个更灵活的模型。此外，我们对我们提出的方法进行了详细分析，并表明它们对超参数选择不那么敏感。最后，我们展示了如何将每种方法从两类舍入扩展到三类舍入。
引用
@article{arxiv.2401.17789,
title = {Robustly overfitting latents for flexible neural image compression},
author = {Yura Perugachi-Diaz and Arwin Gansekoele and Sandjai Bhulai},
journal= {arXiv preprint arXiv:2401.17789},
year = {2024}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS) 2024