神经可解释PDE：融合傅里叶洞察与注意力机制以实现可扩展且可解释的物理发现
机器学习
2025-05-30 v1 数值分析
数值分析
摘要
注意力机制已成为自然语言处理和计算机视觉等核心人工智能领域的变革性工具。然而，其在建模复杂物理系统方面尚未开发的潜力展现了一个引人注目的前沿。学习此类系统通常需要发现映射函数空间之间的算子，且仅使用有限的函数对实例——这一任务通常被构建为一个严重不适定的逆PDE问题。在这项工作中，我们引入了神经可解释PDE（NIPS），这是一种新颖的神经算子架构，它在预测精度和计算效率上建立并增强了非局部注意力算子（NAO）。NIPS采用线性注意力机制以实现可扩展学习，并集成了一个可学习的核网络，该网络在傅里叶空间中充当通道独立的卷积。因此，NIPS消除了显式计算和存储大规模成对交互的需求，有效地将处理空间交互的成本分摊到傅里叶变换中。实证评估表明，NIPS在多样化的基准测试中始终优于NAO和其他基线方法，预示着在可扩展、可解释且高效的物理学习方面迈出了实质性的一步。本文附带的代码和数据可在https://github.com/fishmoon1234/Nonlocal-Attention-Operator获取。
引用
@article{arxiv.2505.23106,
title = {Neural Interpretable PDEs: Harmonizing Fourier Insights with Attention for Scalable and Interpretable Physics Discovery},
author = {Ning Liu and Yue Yu},
journal= {arXiv preprint arXiv:2505.23106},
year = {2025}
}