DeepOSets 用于 in-context 多算子学习
机器学习
2026-02-03 v2
摘要
神经网络向科学计算的重要应用之一是学习非线性算子。该框架训练神经网络以拟合两个无限维空间之间的非线性映射，例如常规或偏微分方程的数值解算子。近期受大型语言模型中 in-context learning 发现的启发，探索了更激进的范式，即多算子学习。在该方法中，神经网络被训练同时学习多个不同的算子。为对某个已学习的算子进行评估，需将网络输入示例输入和输出，以消除所需算子。本文对多算子学习问题提供了精确的数学表述。此外，我们修改了一个简单高效的架构——DeepOSets，用于多算子学习，并证明其在多算子学习中的通用性。最后，我们提供了一系列全面实验，表明 DeepOSets 能够学习对应不同初值和边值微分方程的多个算子，并利用 in-context 示例准确预测训练期未见及查询对应的解。DeepOSets 的主要优势在于其架构的简单性，这使得可以推导出理论保证，其训练时间仅为数分钟，而与类似基于 transformer 的方法相比，后者仅经验上验证，需数小时的训练。
引用
@article{arxiv.2512.16074,
title = {In-Context Multi-Operator Learning with DeepOSets},
author = {Shao-Ting Chiu and Aditya Nambiar and Ali Syed and Jonathan W. Siegel and Ulisses Braga-Neto},
journal= {arXiv preprint arXiv:2512.16074},
year = {2026}
}