FAT：通过频率感知变换学习低比特宽度参数表示
计算机视觉与模式识别
2021-02-23 v2
摘要
以低比特宽度学习卷积神经网络（CNNs）具有挑战性，因为量化后性能可能显著下降。先前方法通常通过仔细调整量化的超参数（例如非均匀步长与逐层比特宽度）来离散化网络权重，这些方法复杂且次优，因为全精度与低精度模型之间存在较大差异。本工作提出一种新颖的量化流程——频率感知变换（FAT），其具有若干吸引人的优势。（1）与现有工作设计复杂量化器不同，FAT 学习在量化前于频域中变换网络权重，使其更适于低比特宽度下的训练。（2）借助 FAT，CNNs 可使用简单标准量化器轻松以低精度训练，无需繁琐的超参数调优。理论分析表明 FAT 同时改进均匀与非均匀量化器。（3）FAT 可轻松插入多种 CNN 架构。当以 4 比特训练 ResNet-18 与 MobileNet-V2 时，FAT 加上简单舍入操作已在 ImageNet 上取得 70.5% 与 69.2% 的 top-1 准确率，无需额外技巧，并通过相比全精度模型减少 54.9X 与 45.7X 计算量超越近期最先进水平。我们希望 FAT 为模型量化提供新颖视角。代码见 \url{https://github.com/ChaofanTao/FAT_Quantization}。
引用
@article{arxiv.2102.07444,
title = {FAT: Learning Low-Bitwidth Parametric Representation via Frequency-Aware Transformation},
author = {Chaofan Tao and Rui Lin and Quan Chen and Zhaoyang Zhang and Ping Luo and Ngai Wong},
journal= {arXiv preprint arXiv:2102.07444},
year = {2021}
}