IR2Net：面向精确二值神经网络的信息限制与信息恢复
计算机视觉与模式识别
2022-10-07 v1
摘要
权重与激活二值化可有效压缩深度神经网络并加速模型推理，但会导致严重的精度下降。现有二值神经网络（BNNs）的优化方法侧重于拟合全精度网络以减小量化误差，并受困于精度与计算复杂度之间的权衡。相反，考虑到BNNs有限表示能力引起的学习能力受限与信息损失，我们提出IRNet，通过限制输入信息并恢复特征信息来激发BNNs潜力并提升网络精度，包括：1）信息限制：对于BNN，通过评估其对输入信息的学习能力，丢弃其无法关注的部分信息，并限制输入信息量以匹配其学习能力；2）信息恢复：由于前向传播中的信息损失，网络输出特征信息不足以支撑准确分类。通过选取若干信息更丰富的浅层特征图，并将其与最终特征图融合以恢复特征信息。此外，通过精简信息恢复方法降低计算成本，以在精度与效率间取得更好权衡。实验结果表明，即便ResNet-18的浮点运算量（FLOPs）降低约10倍，我们的方法仍取得可比精度。模型与代码见 https://github.com/pingxue-hfut/IR2Net。
引用
@article{arxiv.2210.02637,
title = {IR2Net: Information Restriction and Information Recovery for Accurate Binary Neural Networks},
author = {Ping Xue and Yang Lu and Jingfei Chang and Xing Wei and Zhen Wei},
journal= {arXiv preprint arXiv:2210.02637},
year = {2022}
}
备注
11 pages, 8 figures