Transformer 用于学习动力系统的内在学习机制：在情境内学习传递算子

大规模科学机器学习基础模型能够适应训练期间未见的物理环境，例如在湍流尺度之间的零样本迁移。这种现象——内在学习——挑战了对物理系统中学习与适应的传统理解。本文我们在最小化设置下研究动力系统的内在学习：我们训练一个小型两层单头 Transformer 来预测一个动力系统，然后评估其预测另一个动力系统的能力而无需重新训练。我们发现训练过程中存在一种关于分布内外性能的早期权衡，表现为二次下降现象。我们发现基于注意力的模型在情境内应用传递算子预测策略：(1) 使用延迟嵌入将低维时间序列提升，以检测系统的高维动力学流形；(2)识别并预测描述该流形上全局流动的长期不变集。我们的结果阐明了大型预训练模型在测试时无需重新训练即可预测未见物理系统的机制，并说明了注意力模型独特地能够利用全局吸引子信息为短期预测服务的能力。