神经积分方程
摘要
具有长距离时空依赖的非线性算子在跨科学的复杂系统建模中是基础性的，然而在机器学习中学习这些非局域算子仍然具有挑战性。建模此类非局域系统的积分方程（IEs）在物理、化学、生物学和工程中有广泛应用。我们引入神经积分方程（NIE），一种利用 IE 求解器从数据学习未知积分算子的方法。为提升可扩展性与模型容量，我们还提出注意力神经积分方程（ANIE），其以自注意力替代积分。两个模型均基于第二类积分方程理论，其中未知函数同时出现在积分算子的内外。我们提供理论分析，表明自注意力如何在温和正则性假设下逼近积分算子，进一步深化了先前报道的 transformer 与积分之间的联系，并推导出积分算子的相应逼近结果。通过在合成与真实世界数据（包括 Lotka-Volterra、Navier-Stokes 和 Burgers 方程，以及脑动力学与积分方程）上的数值基准测试，我们展示了模型的能力及其推导可解释动力学嵌入的能力。我们的实验表明 ANIE 优于现有方法，尤其在更长时间间隔与更高维问题中。我们的工作解决了机器学习中非局域算子的关键空白，并为研究具有长距离依赖的未知复杂系统提供了有力工具。
引用
@article{arxiv.2209.15190,
title = {Neural Integral Equations},
author = {Emanuele Zappala and Antonio Henrique de Oliveira Fonseca and Josue Ortega Caro and Andrew Henry Moberly and Michael James Higley and Jessica Cardin and David van Dijk},
journal= {arXiv preprint arXiv:2209.15190},
year = {2024}
}
备注
16 + 26 pages, 18 figures and 10 tables. v5: Some additional experiments have been performed, some explanations and reference added. Article published on Nature Machine Intelligence with the more descriptive title: "Learning integral operators via neural integral equations"