面向二值神经网络的频域近似学习方法
计算机视觉与模式识别
2021-11-23 v2
摘要
二值神经网络（BNNs）通过符号函数将原始全精度权重和激活量化为1-bit。由于传统符号函数几乎处处梯度为零而无法用于反向传播，已有若干尝试采用近似梯度来缓解优化困难。然而，这些近似破坏了真实梯度的主要方向。为此，我们提出在傅里叶频域中使用正弦函数组合来估计符号函数梯度以训练BNNs，即频域近似（FDA）。该方法不影响占据总体能量大部分的原有符号函数的低频信息，并忽略高频系数以避免巨大计算开销。此外，我们在训练阶段嵌入噪声自适应模块以补偿近似误差。在多个基准数据集和神经网络架构上的实验表明，使用本方法学习的二值网络取得了最先进的精度。代码将发布于\textit{https://gitee.com/mindspore/models/tree/master/research/cv/FDA-BNN}。
引用
@article{arxiv.2103.00841,
title = {Learning Frequency Domain Approximation for Binary Neural Networks},
author = {Yixing Xu and Kai Han and Chang Xu and Yehui Tang and Chunjing Xu and Yunhe Wang},
journal= {arXiv preprint arXiv:2103.00841},
year = {2021}
}
备注
12 pages