Neural ODE 的全局收敛：激活函数的影响
机器学习
2025-09-29 v1 人工智能
机器学习
摘要
Neural Ordinary Differential Equations (ODEs) 因其连续特性和参数共享效率，在各种应用中取得了成功。然而，这些独特特性也给训练带来了挑战，尤其是在梯度计算精度和收敛分析方面。在本文中，我们通过研究激活函数的影响来解决这些挑战。我们证明，激活函数的特性，特别是平滑性和非线性，对训练动力学至关重要。平滑激活函数保证前向和后向 ODE 均存在全局唯一解，而充足的非线性对于在训练过程中维持 Neural Tangent Kernel (NTK) 的谱特性至关重要。这些特性共同使我们能够在过参数化机制下建立 Neural ODE 在梯度下降下的全局收敛性。我们的理论发现通过数值实验得到了验证，这不仅支持了我们的分析，还为扩展 Neural ODE 提供了实践指导，有望在现实应用中实现更快的训练和更好的性能。
引用
@article{arxiv.2509.22436,
title = {Global Convergence in Neural ODEs: Impact of Activation Functions},
author = {Tianxiang Gao and Siyuan Sun and Hailiang Liu and Hongyang Gao},
journal= {arXiv preprint arXiv:2509.22436},
year = {2025}
}
备注
ICLR 2025 (Oral)