高斯输入下学习子空间稀疏多项式的平均场分析
机器学习
2025-01-10 v3 偏微分方程分析
摘要
在这项工作中，我们研究了使用随机梯度下降和两层神经网络学习子空间稀疏多项式的平均场流，其中输入分布为标准高斯分布，输出仅取决于输入在低维子空间上的投影。我们建立了随机梯度下降可学习性的一个必要条件，该条件涉及目标函数的特性和激活函数的表达能力。此外，我们证明该条件几乎是充分的，即一个略强于必要条件的条件可以保证损失泛函指数衰减至零。
引用
@article{arxiv.2402.08948,
title = {Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input},
author = {Ziang Chen and Rong Ge},
journal= {arXiv preprint arXiv:2402.08948},
year = {2025}
}