面向神经网络的广义杠杆分数采样
机器学习
2020-09-22 v1 机器学习
摘要
杠杆分数采样是一项源自理论计算机科学的强大技术，可用于加速大量基础问题，例如线性回归、线性规划、半定规划、割平面法、图稀疏化、最大匹配与最大流。最近有研究表明，杠杆分数采样有助于加速核方法[Avron, Kapralov, Musco, Musco, Velingker and Zandieh 17]。本工作将[Avron, Kapralov, Musco, Musco, Velingker and Zandieh 17]中的结果推广到更广一类核。我们进一步将杠杆分数采样引入深度学习理论领域。 我们展示了神经网络训练的初始化与用随机特征逼近神经正切核之间的联系。 我们证明了在经典随机高斯初始化与杠杆分数采样两种初始化下，正则化神经网络与神经正切核岭回归的等价性。
引用
@article{arxiv.2009.09829,
title = {Generalized Leverage Score Sampling for Neural Networks},
author = {Jason D. Lee and Ruoqi Shen and Zhao Song and Mengdi Wang and Zheng Yu},
journal= {arXiv preprint arXiv:2009.09829},
year = {2020}
}