关于经典-量子均值场神经 ODE 的 Polyak-Lojasiewicz 不等式的普遍性
最优化与控制
2025-07-14 v1 偏微分方程分析
概率论
摘要
我们关注理想化的深度残差神经网络 (ResNet) 的行为，通过在连续性(或伴随传输)方程上设置的最优控制问题来建模。连续性方程描述了特征在网络层形成连续极限情况下的统计演化。速度场通过网络激活函数表达，而该激活函数本身又视为网络参数(权重和偏置)的统计分布的函数。在数学意义上，该控制被松化处理，取值于参数集合上概率测度的空间。我们特别关注网络在由回归问题引起的成本函数中包含额外的熵正则化项后的参数分布的最优行为。具体而言，我们关注稳定优化器——即 Hessian 非退化的优化器。我们证明，对于初始数据构成特征分布和关联标签的开且稠密集合，存在唯一的稳定全局最小化器。此外，我们证明此类最小化器满足局部 Polyak--Lojasiewicz 不等式，这可导致当初始化足够接近最优参数时，梯度下降具有指数收敛性。该结果因此展示了在特征和标签分布下，具有连续层数且受熵惩罚的 ResNet 中 Polyak--Lojasiewicz 条件的普遍性。
引用
@article{arxiv.2507.08486,
title = {Genericity of Polyak-Lojasiewicz Inequalities for Entropic Mean-Field Neural ODEs},
author = {Samuel Daudin and François Delarue},
journal= {arXiv preprint arXiv:2507.08486},
year = {2025}
}