两时间尺度 regime下两层神经网络训练的超快速特征学习
机器学习
2025-07-22 v2 最优化与控制
摘要
我们研究了针对均值场单隐藏层神经网络（以平方损失为目标）训练的梯度方法的收敛性。在这个高维且非凸的优化问题中，大多数已知收敛结果要么是定性的，要么依赖于神经切线核分析，其中数据的节点表示是固定的。利用该问题属于可分离非线性最小二乘问题的类，我们在这里考虑Variable Projection (VarPro)或两时间尺度学习算法，从而消除线性变量，将学习问题简化为非线性特征的训练。在教师-学生场景下，我们证明了这种策略使采样教师特征分布具有可证明的收敛率。准确地说，在正则化强度趋于零的极限中，我们显示特征分布的动力学对应于加权超快速扩散方程。最近关于此类PDE渐近行为的结果随后给出了学习特征分布收敛的定量保证。
引用
@article{arxiv.2504.18208,
title = {Ultra-fast feature learning for the training of two-layer neural networks in the two-timescale regime},
author = {Raphaël Barboni and Gabriel Peyré and François-Xavier Vialard},
journal= {arXiv preprint arXiv:2504.18208},
year = {2025}
}