潜权重并不存在：重新思考二值化神经网络优化
机器学习
2019-11-07 v2 机器学习
摘要
二值化神经网络（BNN）的优化目前依赖于实值潜权重来累积微小的更新步长。本文中，我们论证这些潜权重不能类比于实值网络中的权重，其主要作用是在训练期间提供惯性。我们从惯性角度解读现有方法，并对 BNN 的优化提供新颖见解。随后我们引入首个专为 BNN 设计的优化器——二值优化器（Bop），并在 CIFAR-10 与 ImageNet 上展示其性能。综上，将潜权重重定义为惯性并引入 Bop，能够更好地理解 BNN 优化，并为训练方法的进一步改进开辟道路。代码见：https://github.com/plumerai/rethinking-bnn-optimization
引用
@article{arxiv.1906.02107,
title = {Latent Weights Do Not Exist: Rethinking Binarized Neural Network Optimization},
author = {Koen Helwegen and James Widdicombe and Lukas Geiger and Zechun Liu and Kwang-Ting Cheng and Roeland Nusselder},
journal= {arXiv preprint arXiv:1906.02107},
year = {2019}
}
备注
Accepted at 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada - Updated ImageNet results