KAM理论遇见统计学习理论：具有非零训练损失的哈密顿神经网络
动力系统
2022-03-23 v2 机器学习
数学物理
math.MP
摘要
许多物理现象由哈密顿力学使用能量函数（哈密顿量）描述。近来，将哈密顿量近似为神经网络的哈密顿神经网络及其扩展备受关注。这是一种非常强大的方法，但其在理论研究中的使用仍然有限。在本研究中，通过结合统计学习理论与 Kolmogorov-Arnold-Moser（KAM）理论，我们对哈密顿神经网络在学习误差不完全为零时的行为提供了理论分析。具有非零误差的哈密顿神经网络可视为对真实动力学的扰动，而哈密顿方程的扰动理论广为人知即 KAM 理论。为应用 KAM 理论，我们通过推导多层感知机梯度的覆盖数估计，给出了哈密顿神经网络的泛化误差界，而该估计是模型的关键要素。此误差界给出了 KAM 理论应用所需的哈密顿量的 界。
引用
@article{arxiv.2102.11923,
title = {KAM Theory Meets Statistical Learning Theory: Hamiltonian Neural Networks with Non-Zero Training Loss},
author = {Yuhan Chen and Takashi Matsubara and Takaharu Yaguchi},
journal= {arXiv preprint arXiv:2102.11923},
year = {2022}
}
备注
Accepted to the thirty-sixth AAAI conference on artificial intelligence (AAAI-22) as an oral presentation