FATNN：快速且精确的三元神经网络
机器学习
2021-07-30 v4 计算机视觉与模式识别
摘要
三元神经网络（TNNs）因在推理速度上可能比全精度网络快数个数量级，且更节能，而受到广泛关注。然而，三元表示仅利用了 3 个量化级别，却需要 2 比特来编码。因此，传统 TNNs 与标准 2 比特模型相比具有相似的内存消耗和速度，但表征能力更弱。此外，TNNs 与全精度网络之间在精度上仍存在显著差距，阻碍了其在实际应用中的部署。为应对这两大挑战，本文中我们首先证明，在某些温和约束下，三元内积的计算复杂度可降低一半。其次，为缓解性能差距，我们精心设计了与实现相关的三元量化算法。所提出的框架称为快速且精确的三元神经网络（FATNN）。在图像分类上的实验表明，我们的 FATNN 在精度上大幅超越现有最优方法。更重要的是，我们在多个平台上分析了相较于不同精度的加速比评估，这为进一步研究提供了有力的基准。
引用
@article{arxiv.2008.05101,
title = {FATNN: Fast and Accurate Ternary Neural Networks},
author = {Peng Chen and Bohan Zhuang and Chunhua Shen},
journal= {arXiv preprint arXiv:2008.05101},
year = {2021}
}
备注
Accepted to Proc. Int. Conf. Computer Vision, ICCV 2021