高维单ReLU神经元学习的有限样本分析
机器学习
2023-06-27 v2 最优化与控制
机器学习
摘要
本文考虑在过参数化 regime 下以平方损失学习单个ReLU神经元（又称ReLU回归）的问题，其中输入维度可超过样本数。我们分析了一种称为GLM-tron（Kakade等，2011）的感知机型算法，并给出了其在良设定与误设定两种设置下高维ReLU回归的维数无关风险上界。我们的风险界将若干现有结果作为特例恢复。此外，在良设定设置下，我们给出了GLM-tron的实例级匹配风险下界。我们的风险上界与下界对可通过GLM-tron学习的高维ReLU回归问题提供了尖锐刻画。另一方面，我们对对称Bernoulli数据下随机梯度下降（SGD）用于ReLU回归给出了一些负面结果：若模型良设定，则对每个问题实例，SGD的超额风险在忽略常数因子下证明不优于GLM-tron；而在无噪声情形，GLM-tron可达到小风险，而SGD不可避免地承受常数期望风险。这些结果共同表明，对于高维ReLU回归，GLM-tron可能优于SGD。
引用
@article{arxiv.2303.02255,
title = {Finite-Sample Analysis of Learning High-Dimensional Single ReLU Neuron},
author = {Jingfeng Wu and Difan Zou and Zixiang Chen and Vladimir Braverman and Quanquan Gu and Sham M. Kakade},
journal= {arXiv preprint arXiv:2303.02255},
year = {2023}
}
备注
ICML 2023 camera ready