面向稳定自回归预测的混合神经时间积分器
机器学习
2026-04-29 v2 数值分析
数值分析
摘要
对于对混沌动力学系统进行长时间尺度的自回归建模，训练和推理的稳定性是构建科学基础模型面临的主要挑战。我们提出一种混合技术，将自回归 transformer嵌入一种新颖的射击-based 混合有限元方案中，通过揭示拓扑结构实现可证明的稳定性。对于前向问题，我们证明了离散能量的保持；而对于训练过程，我们证明了梯度的均匀上界，可证明地避免了梯度爆炸问题。结合视觉 transformer，该方法产生具有结构保持性动力学的潜在 token。我们超越了现代基础模型，仅使用 65 倍模型参数即可实现对混沌系统的长期预测。一个“小型基础模型”的熔合组件显示，仅需 12 次仿真即可训练出一个实时代理，实现了 9000 倍于粒子-in-cell 模拟的加速。
引用
@article{arxiv.2604.21101,
title = {A Hybridizable Neural Time Integrator for Stable Autoregressive Forecasting},
author = {Brooks Kinch and Xiaozhe Hu and Yilong Huang and Martine Dyring Hansen and Sunniva Meltzer and Nathaniel Donald Hamlin and David Sirajuddin and Eric C. Cyr and Nathaniel Trask},
journal= {arXiv preprint arXiv:2604.21101},
year = {2026}
}
备注
29 pages, 6 figures