AttNS：面向有限数据场景的注意力启发式数值求解器
机器学习
2025-02-06 v2 人工智能
数值分析
数值分析
摘要
我们提出了注意力启发式数值求解器（AttNS），这是一种简洁的方法，可帮助解决 AI-混合数值求解器在因数据有限而求解微分方程时所面临的泛化与鲁棒性问题。AttNS 的灵感来源于注意力模块在残差神经网络（ResNet）中增强常规深度学习任务模型泛化与鲁棒性的有效性。从 ResNet 的动力系统视角出发，我们将注意力机制无缝融入专为求解微分方程特性而设计的数值方法之中。我们在从高维问题到混沌系统的基准测试上的结果表明，AttNS 始终能在无需任何复杂模型设计的情况下增强各类数值求解器。最后，我们从实验和理论两方面分析 AttNS，证明其能够在确保求解器收敛的同时实现强泛化与鲁棒性。这包括相较于其他先进方法，所需数据更少即可达到可比的泛化误差，并在求解微分方程时更好地防止数值爆炸问题。
引用
@article{arxiv.2302.10184,
title = {AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios},
author = {Zhongzhan Huang and Mingfu Liang and Shanshan Zhong and Liang Lin},
journal= {arXiv preprint arXiv:2302.10184},
year = {2025}
}
备注
Accepted by ICML'24