二值神经网络的高维几何学
机器学习
2017-05-23 v1
摘要
近期研究表明，可在训练时通过为权重引入高精度连续潜变量来累积随机梯度下降的微小变化，从而训练具有二值权重与激活的神经网络。然而，目前缺乏理论分析来解释为何能用二值权重与激活有效捕获数据中的特征。我们的主要结论是，采用 Courbariaux、Hubara 等人(2016)方法训练的二值权重与激活神经网络之所以有效，源于二值向量的高维几何性质。具体而言，在这些二值神经网络中间表示中提取特征的理想连续向量，在点积近似保持的意义上可被二值向量良好逼近。相较于此前证明此类二值神经网络可行性的研究，我们的工作从高维几何角度解释了其有效原因。该理论不仅为理解二值神经网络奠定基础，也为理解各种旨在压缩传统神经网络的方法提供了依据。此外，对多层二值神经网络的更深入理解，可作为将其推广至其他架构（如循环神经网络）的起点。
引用
@article{arxiv.1705.07199,
title = {The High-Dimensional Geometry of Binary Neural Networks},
author = {Alexander G. Anderson and Cory P. Berg},
journal= {arXiv preprint arXiv:1705.07199},
year = {2017}
}
备注
12 pages, 4 Figures