克里洛夫空间中的注意力机制

Universal Operator Growth Hypothesis 通过 Lanczos 系数表述算子的时间演化。然而，由于数值不稳定和存储成本的限制，实际中只能精确计算有限数量的系数。为此，标准方法依赖于将早期系数拟合为渐近形式，但此类程序可能漏掉系数中次要的、依赖历史的结构，从而影响重构的可观测量。在本工作中，我们将 Lanczos 系数视为因果时间序列，引入基于 transformer 的模型对未来系数进行自回归预测。对于经典和量子系统，我们的机器学习模型在系数外推和物理可观测量重构方面均优于渐近拟合，误差降低了一个数量级。我们的模型也能跨系统尺寸迁移：可在较小的系统上训练，然后无需重新训练地用于更大系统的系数外推。通过探索所学注意力模式并进行针对性注意力消除，我们确定了哪些系数历史部分对准确预测最具影响。