两层神经网络的均值场分析：具线性收敛速率的全局最优性
机器学习
2022-10-19 v2 偏微分方程分析
机器学习
摘要
我们考虑在均值场 regime 下优化两层神经网络，其中网络权重的的学习动态可由与神经元相关联的权重参数之概率测度空间中的演化来近似。均值场 regime 是 NTK（惰性训练）regime 在理论上更具吸引力的替代方案，后者仅局限于所谓神经正切核空间内围绕特定初始化的局部区域。若干先前工作（\cite{chizat2018global, mei2018mean}）确立了均值场 regime 的渐近全局最优性，但由于训练动态复杂的无界非线性，获得定量收敛速率仍具挑战。本工作建立了均值场 regime 下由连续时间带噪梯度下降训练的原生两层神经网络的首个线性收敛结果。我们的结果依赖于对由隐神经元演化分布所确定的一族测度的对数 Sobolev 常数之新颖时间依赖估计。
引用
@article{arxiv.2205.09860,
title = {Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with Linear Convergence Rates},
author = {Jingwei Zhang and Xunpeng Huang and Jincheng Yu},
journal= {arXiv preprint arXiv:2205.09860},
year = {2022}
}
备注
revision on presentation; add experiments; more discussions on previous independent works of chizat2022mean and nitanda2022convex