SiMaN：符号到幅值网络二值化
计算机视觉与模式识别
2022-10-05 v3 人工智能
摘要
二值神经网络（BNNs）因其高效的存储与计算能力而引起了广泛的研究兴趣。然而，BNNs 的一个重大挑战在于处理离散约束的同时确保比特熵最大化，这通常使其权重优化非常困难。现有方法利用符号函数放宽学习过程，简单地将正权重编码为 +1，否则为 -1。作为替代，我们构建了一个角度对齐目标，将权重二值化约束为 {0,+1} 以解决该挑战。在本文中，我们展示了我们的权重二值化通过将高幅值权重编码为 +1、否则为 0 来提供解析解。因此，无需符号函数即可在计算高效的方式下建立高质量的离散解。我们证明二值化网络的学习权重大致遵循不允许熵最大化的拉普拉斯分布，并进一步证明可通过在网络训练期间简单移除 正则化来有效解决。我们的方法被称为符号到幅值网络二值化（SiMaN），在 CIFAR-10 和 ImageNet 上进行了评估，展示了其相对于基于符号的现有最优方法的优越性。我们的源代码、实验设置、训练日志和二值模型可在 https://github.com/lmbxmu/SiMaN 获取。
引用
@article{arxiv.2102.07981,
title = {SiMaN: Sign-to-Magnitude Network Binarization},
author = {Mingbao Lin and Rongrong Ji and Zihan Xu and Baochang Zhang and Fei Chao and Chia-Wen Lin and Ling Shao},
journal= {arXiv preprint arXiv:2102.07981},
year = {2022}
}
备注
Accepted by IEEE TPAMI, 2022