基于随机投影增强神经网络表达能力与加速训练
机器学习
2019-01-11 v2 机器学习
摘要
随机投影能够对具有非线性低维结构的数据集高效地进行降维。一个著名例子是随机矩阵将近等距地将稀疏向量嵌入低维子空间,即压缩感知中的受限等距性质。本文探讨随机投影在深度神经网络中的一些应用。我们给出当输入数据为稀疏向量或构成低维光滑流形时全连接神经网络的表达能力。我们证明,以给定精度逼近 Lipschitz 函数所需的神经元数目依赖于流形的稀疏性或维数,而弱依赖于输入向量的维数。我们证明的关键在于随机投影将稀疏向量集或低维光滑流形稳定地嵌入低维子空间。基于此事实,我们还提出一些新的神经网络模型,其中每一层输入首先通过随机投影投影到低维子空间,然后施加标准线性连接与非线性激活。以此方式,神经网络中参数数量显著减少,从而可在性能损失不大的情况下加速神经网络训练。
引用
@article{arxiv.1811.09054,
title = {Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections},
author = {Jian-Feng Cai and Dong Li and Jiaze Sun and Ke Wang},
journal= {arXiv preprint arXiv:1811.09054},
year = {2019}
}