大型语言模型学习动力系统的支配原理，揭示上下文内神经缩放定律
机器学习
2025-07-02 v4 人工智能
摘要
预训练的大型语言模型（LLMs）在执行零样本任务（包括时间序列预测）方面出奇地有效。然而，由于模型的复杂性，理解这些能力背后的机制仍然极具挑战性。我们研究了LLMs外推动力学系统行为的能力，这些系统的演化受物理兴趣原理支配。我们的结果表明，主要基于文本训练的语言模型LLaMA 2，无需微调或提示工程即可实现动力学系统时间序列的准确预测。此外，所学物理规则的准确性随着输入上下文窗口长度的增加而提高，揭示了神经缩放定律的上下文内版本。在此过程中，我们提出了一种灵活高效的算法，可直接从LLMs中提取多位数字的概率密度函数。
引用
@article{arxiv.2402.00795,
title = {LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law},
author = {Toni J. B. Liu and Nicolas Boullé and Raphaël Sarfati and Christopher J. Earls},
journal= {arXiv preprint arXiv:2402.00795},
year = {2025}
}