注意力驱动世界模型的路径测度动力学：非局域Onsager-Machlup方法

注意力使世界模型能够以其整个历史为条件，提供促进长程预测的长期记忆。虽然我们姊妹篇论文中的局域Onsager-Machlup理论假设了一个时间局域的预测作用量，但我们研究了这种局域性成立的条件。我们推导了由于注意力诱导记忆而变得非马尔可夫的潜动力学的预测路径测度，证明该测度是隐藏线性马尔可夫增广的投影。消除辅助场导致非局域Onsager-Machlup作用量，其中记忆表现为非局域二次型而非力。这些核是完全单调的，并且与具有有限弛豫谱的隐藏马尔可夫嵌入精确匹配；否则，动力学保持根本上的非局域性。通过按尺度分离参数$\epsilon=\tau_{\text{mem}}/\tau_{\text{dyn}}$展开作用量，我们表明领头阶恢复了姊妹篇论文的局域作用量，将局域性确立为非局域理论的短记忆极限。我们逐项验证了该展开的可逆部分，与一个可精确求解的矢量线性模型进行了对比。