论学习型图像压缩中的均匀标量量化

学习型图像压缩在将不可微量化纳入网络的基于梯度的训练时面临独特挑战。已有若干量化代理被提出以完成训练，但它们未从理论角度得到系统论证。我们通过对比均匀标量量化（最广泛使用的类别，其最简单情形为舍入）与其训练代理来填补这一空白。原则上，我们发现两个关键因素：一是代理与舍入之间的差异导致训练-测试失配；二是由代理引起的梯度估计风险，包含梯度估计的偏差与方差。我们的分析与仿真表明，训练-测试失配与梯度估计风险之间存在权衡，且该权衡因不同网络结构而异。受这些分析启发，我们提出一种基于随机均匀退火的方法，其具有可调温度系数以控制该权衡。此外，我们的分析启示了两个微妙技巧：一是为估计的量化潜变量分布的方差参数设置适当的下界，可有效减少训练-测试失配；二是使用零中心量化与部分停止梯度，可降低梯度估计方差从而稳定训练。我们的方法结合这些技巧，在多种代表性图像压缩网络上被验证优于现有的量化代理做法。