深度学习的哈蒙-雅各比理论

在本文中,将神经网络的训练完全识别为哈蒙-雅各比初值问题的搜索:每个梯度步骤选择一个初始数据,该数据对应于其 Hopf-Cole 传播子最适合观察的粘性哈蒙-雅各比方程;在推理时,输入是对该解进行评估的空间点,而初始条件已编码在权重中。该对应关系对 log-sum-exp 层完全成立,且对更广泛的体系结构具有结构性:残差网络、变换器和循环网络 (RNN、LSTM、SSM) 每个都离散化同一类哈蒙-雅各比方程,其哈密顿量和粘性性随体系结构而异。一个位移参数 $\varepsilon$ 统一了网络、热帕算子、粘性 PDE 和凸优化四种视角,形成在 Lipschitz 条件下封闭的交换图。定量后果包括:固定 $t$ 时的最佳 minimax 一般化率 $O(n^{-1/(d+2)}$;由 $\varepsilon$ 控制的对抗鲁棒性;残差网络的反向传播作为哈密顿系统的共轨方程 (Pontryagin 最大化原理);通过 PDE 求积一致数据固有维数的比例指数;以及闭形式 $O(N)$ 影响函数 (softmax attribution 权重 $\pi_j$),其熵景观随 $\varepsilon$ 增大经历折叠分岔,每个折叠合并 attribution basin。