面向基于哈希的神经网络的理论理解
机器学习
2019-02-26 v2 机器学习
摘要
由于深度神经网络模型规模不断增大，且需要在资源受限的机器上训练和运行它们，参数缩减一直是深度学习中的重要课题。尽管该领域已有许多努力，但对于现有的神经网络压缩方法为何有效，尚无严格的理论保证。在本文中，我们针对神经网络中一些基于哈希的参数缩减方法提供了可证明的保证。首先，我们引入了一种基于随机线性草图（通常通过哈希高效实现）的神经网络压缩方案，并证明被草图的（更小的）网络能够在所有来自任意平滑且条件良好的低维流形的输入数据上近似原始网络。被草图的网络也可以直接通过反向传播进行训练。接下来，我们研究了先前提出的 HashedNets 架构，并证明单隐层 HashedNets 的优化景观具有类似于普通全连接神经网络的局部强凸性性质。我们用实验验证补充了理论结果。
引用
@article{arxiv.1812.10244,
title = {Towards a Theoretical Understanding of Hashing-Based Neural Nets},
author = {Yibo Lin and Zhao Song and Lin F. Yang},
journal= {arXiv preprint arXiv:1812.10244},
year = {2019}
}
备注
AISTATS 2019