基于随机计算的神经网络与二值神经网络的通用逼近性质及等价性
机器学习
2018-06-12 v2 机器学习
摘要
大规模深度神经网络既耗费内存又耗费计算，从而对计算平台提出了严苛的要求。深度神经网络的硬件加速已在工业界和学术界被广泛研究。特定形式的二值神经网络（BNNs）和基于随机计算的神经网络（SCNNs）对硬件实现尤其具有吸引力，因为它们几乎可以完全用二进制运算实现。尽管在硬件实现上具有明显优势，这些近似计算技术在精度和普遍适用性方面受到研究人员的质疑。同时，理解 SCNNs 与 BNNs 在理论和实际硬件实现中的相对优缺点也很重要。为解决这些疑虑，本文中我们证明“理想”的 SCNNs 和 BNNs 以概率 1 满足通用逼近性质（源于随机行为）。证明首先由强大数定律证明 SCNNs 的该性质，再以 SCNNs 作为“桥梁”证明 BNNs 的该性质。基于通用逼近性质，我们进一步证明 SCNNs 与 BNNs 具有相同的能量复杂度。换言之，随着网络规模增长，它们具有相同的渐近能量消耗。我们还详细分析了 SCNNs 和 BNNs 用于硬件实现的优缺点，并得出结论：SCNNs 更适于硬件实现。
引用
@article{arxiv.1803.05391,
title = {On the Universal Approximation Property and Equivalence of Stochastic Computing-based Neural Networks and Binary Neural Networks},
author = {Yanzhi Wang and Zheng Zhan and Jiayu Li and Jian Tang and Bo Yuan and Liang Zhao and Wujie Wen and Siyue Wang and Xue Lin},
journal= {arXiv preprint arXiv:1803.05391},
year = {2018}
}
备注
9 pages, 3 figures