基于数据提示的微分方程问题上下文算子学习
机器学习
2023-09-21 v3 数值分析
数值分析
机器学习
摘要
本文提出一种基于神经网络的新方法，即上下文算子网络(ICON)，可在推理阶段从提示数据中同时学习算子并应用于新问题，而无需任何权重更新。现有方法局限于使用神经网络逼近特定方程解或特定算子，在切换到具有不同方程的新问题时需要重新训练。通过将单一神经网络训练为算子学习器，我们不仅能避免为新问题重新训练(甚至微调)神经网络，还能利用算子间共享的共性，从而在学习新算子时提示中仅需少量示例。我们的数值结果表明，该神经网络作为多样化微分方程问题的少样本算子学习器具有能力，包括常微分方程(ODEs)、偏微分方程(PDEs)和平均场控制(MFC)问题的正问题与逆问题，并表明其能将学习能力泛化至训练分布之外的算子。
引用
@article{arxiv.2304.07993,
title = {In-Context Operator Learning with Data Prompts for Differential Equation Problems},
author = {Liu Yang and Siting Liu and Tingwei Meng and Stanley J. Osher},
journal= {arXiv preprint arXiv:2304.07993},
year = {2023}
}
备注
The second and third authors contributed equally. This is an outdated preprint. Please refer to the updated version published in PNAS: www.pnas.org/doi/10.1073/pnas.2310142120 See code in https://github.com/LiuYangMage/in-context-operator-networks