面向精确二值神经网络的前向与反向信息保持
计算机视觉与模式识别
2020-03-10 v4
摘要
权重与激活二值化是深度神经网络压缩的有效方法，并且可通过位运算加速推理。尽管许多二值化方法已通过最小化前向传播中的量化误差提升了模型精度，二值化模型与全精度模型之间仍存在明显的性能差距。我们的实证研究表明，量化在前向与反向传播中均带来信息损失，这是训练精确二值神经网络的瓶颈。为解决这些问题，我们提出信息保持网络（IR-Net）以保留前向激活与反向梯度中所包含的信息。IR-Net 主要依赖两项技术贡献：(1) Libra 参数二值化（Libra-PB）：通过前向传播中平衡且标准化的权重，同时最小化参数的量化误差与信息损失；(2) 误差衰减估计器（EDE）：在反向传播中通过逐步逼近符号函数，兼顾更新能力与准确梯度，最小化梯度的信息损失。我们首次从统一的信息视角研究二值网络的前向与反向过程，为网络二值化机制提供了新见解。在 CIFAR-10 与 ImageNet 数据集上基于多种网络结构的综合实验表明，所提出的 IR-Net 能持续优于最先进的量化方法。
引用
@article{arxiv.1909.10788,
title = {Forward and Backward Information Retention for Accurate Binary Neural Networks},
author = {Haotong Qin and Ruihao Gong and Xianglong Liu and Mingzhu Shen and Ziran Wei and Fengwei Yu and Jingkuan Song},
journal= {arXiv preprint arXiv:1909.10788},
year = {2020}
}