超球面损失感知的三值量化
计算机视觉与模式识别
2022-12-27 v1 人工智能
摘要
现有大多数工作在离散空间中使用投影函数进行三值量化，某些情况下使用缩放因子和阈值来提高模型精度。然而，用于优化的梯度不准确，导致全精度模型与三值模型之间存在显著的精度差距。为了获得更准确的梯度，一些工作在前向传播中逐步增加全精度权重的离散部分，例如使用基于温度的Sigmoid函数。我们不直接在离散空间中进行三值量化，而是在三值量化之前通过正则化项将全精度权重推近三值权重。此外，受基于温度的方法启发，我们引入重缩放因子，通过模拟Sigmoid函数的导数来获得更准确的梯度。实验结果表明，我们的方法在图像分类和目标检测任务中均能显著提升三值量化的精度。
引用
@article{arxiv.2212.12649,
title = {Hyperspherical Loss-Aware Ternary Quantization},
author = {Dan Liu and Xue Liu},
journal= {arXiv preprint arXiv:2212.12649},
year = {2022}
}