用于神经图像压缩的多样本训练
计算机视觉与模式识别
2022-09-29 v1
摘要
本文考虑有损神经图像压缩（NIC）问题。当前最先进（sota）方法采用均匀后验来近似量化噪声，并采用单样本路径估计器来近似证据下界（ELBO）的梯度。在本文中，我们提出用多样本重要性加权自编码器（IWAE）目标训练 NIC，该目标比 ELBO 更紧，并随着样本量增大收敛到对数似然。首先，我们指出 NIC 的均匀后验具有特殊性质，这些性质影响 IWAE 目标的路径估计器和得分函数估计器的方差与偏差。此外，我们从梯度方差角度对 NIC 中普遍采用的一个技巧提供了见解。基于这些分析，我们进一步提出多样本 NIC（MS-NIC），一种用于 NIC 的增强型 IWAE 目标。实验结果表明它改进了 sota NIC 方法。我们的 MS-NIC 即插即用，并可容易地扩展到其他神经压缩任务。
引用
@article{arxiv.2209.13834,
title = {Multi-Sample Training for Neural Image Compression},
author = {Tongda Xu and Yan Wang and Dailan He and Chenjian Gao and Han Gao and Kunzan Liu and Hongwei Qin},
journal= {arXiv preprint arXiv:2209.13834},
year = {2022}
}
备注
NeurIPS 2022