基于耦合注意力机制的学习算子方法
机器学习
2022-01-05 v1 人工智能
计算物理
摘要
监督算子学习是一种新兴的机器学习范式，可应用于时空动力系统演化的建模以及函数数据间一般黑盒关系的逼近。受近期注意力机制成功的启发，我们提出了一种新颖的算子学习方法LOCA（Learning Operators with Coupled Attention，基于耦合注意力的学习算子）。在我们的架构中，输入函数被映射到一组有限特征，随后这些特征以依赖于输出查询位置的注意力权重进行平均。通过将这些注意力权重与积分变换相耦合，LOCA能够显式学习目标输出函数中的相关性，使我们即使在训练集测量中输出函数数量极少时也能逼近非线性算子。我们的表述附有关于所提模型普适表达能力的严格逼近理论保证。在经验上，我们在若干涉及由常微分方程与偏微分方程支配的系统以及黑盒气候预测问题的算子学习场景中评估了LOCA的性能。通过这些场景，我们展示了最先进的精度、针对含噪输入数据的鲁棒性，以及在测试数据集上一致较小的误差散布，即便对于分布外预测任务亦然。
引用
@article{arxiv.2201.01032,
title = {Learning Operators with Coupled Attention},
author = {Georgios Kissas and Jacob Seidman and Leonardo Ferreira Guilhoto and Victor M. Preciado and George J. Pappas and Paris Perdikaris},
journal= {arXiv preprint arXiv:2201.01032},
year = {2022}
}