单层神经网络的泛化与学习：超越标准高斯数据
机器学习
2023-01-30 v2
摘要
本文分析了当输入特征服从由有限个高斯分布组成的高斯混合模型时，训练单层神经网络的收敛性与泛化能力。假设标签由具有未知真实权重的教师模型生成，该学习问题是通过在学生神经网络上最小化非凸风险函数来估计潜在的教师模型。在被称为样本复杂度的有限训练样本下，迭代被证明以线性速率收敛到临界点，且保证泛化误差。此外，本文首次刻画了输入分布对样本复杂度和学习率的影响。
引用
@article{arxiv.2207.03615,
title = {Learning and generalization of one-hidden-layer neural networks, going beyond standard Gaussian data},
author = {Hongkang Li and Shuai Zhang and Meng Wang},
journal= {arXiv preprint arXiv:2207.03615},
year = {2023}
}