将直通估计器作为随机二值网络的原则性方法重新引入
机器学习
2021-10-20 v4 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
由于梯度的缺失以及离散权重上优化的困难，训练具有二值权重和激活的神经网络是一个具有挑战性的问题。许多成功的实验结果通过经验性的直通（ST）方法取得，这些方法为通过不可微激活传播梯度和更新离散权重提出了各种临时规则。同时，ST方法确实可以作为具有伯努利权重的随机二值网络（SBN）模型中的估计器推导出来。我们将这些推导推进到更完整和系统的研究。我们分析了性质、估计精度，获得了用于激活和权重的不同形式的正确ST估计器，解释了现有的经验方法及其缺陷，解释了在概率上优化时潜在权重如何由镜像下降法产生。这使得长期经验已知的ST方法作为合理的近似被重新引入，得以清晰地应用并进一步发展改进。
引用
@article{arxiv.2006.06880,
title = {Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks},
author = {Alexander Shekhovtsov and Viktor Yanush},
journal= {arXiv preprint arXiv:2006.06880},
year = {2021}
}
备注
33 pages, DAGM 2021 version (presented, to be published)