揭秘与泛化BinaryConnect
机器学习
2021-10-27 v1 机器学习
摘要
BinaryConnect (BC)及其众多变体已成为神经网络量化的实际标准。然而，我们对BC内部工作机制的理解仍然相当有限。我们试图从四个方面弥补这一差距：(a) 我们表明现有的量化算法，包括训练后量化，彼此惊人地相似；(b) 我们论证了近端映射作为一类自然的量化器，既易于设计又易于分析；(c) 我们细化了BC是双平均的特例这一观察，而双平均本身又是广义条件梯度算法的特例；(d) 因此，我们提出ProxConnect (PC)作为BC的泛化，并通过利用已建立的连接证明其收敛性质。我们在CIFAR-10和ImageNet上进行了实验，验证了PC取得了有竞争力的性能。
引用
@article{arxiv.2110.13220,
title = {Demystifying and Generalizing BinaryConnect},
author = {Tim Dockhorn and Yaoliang Yu and Eyyüb Sari and Mahdi Zolnouri and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2110.13220},
year = {2021}
}
备注
NeurIPS 2021