上下文与多样性至关重要：世界模型中上下文学习的涌现
机器学习
2026-03-02 v2 人工智能
摘要
预测环境动态的能力是生物神经系统和一般具身智能体适应其环境的基础。然而，目前的方法依赖于静态世界模型，在面临新颖或罕见配置时往往会失效。我们研究了世界模型的上下文学习 (ICL)，将注意力从零样本性能转移到世界模型的增长与渐近极限上。我们的贡献有三个方面：(1) 我们形式化了世界模型的 ICL，并确定了两个核心机制：环境识别 (ER) 和环境学习 (EL)；(2) 我们推导了两种机制的误差上界，揭示了这些机制是如何涌现的；(3) 我们实证确认了世界模型中存在不同的 ICL 机制，并进一步研究了数据分布和模型架构如何以与理论一致的方式影响 ICL。这些发现证明了自适应世界模型的潜力，并突出了 EL/ER 涌现背后的关键因素，尤其是长上下文和多样化环境的必要性。
引用
@article{arxiv.2509.22353,
title = {Context and Diversity Matter: The Emergence of In-Context Learning in World Models},
author = {Fan Wang and Zhiyuan Chen and Yuxuan Zhong and Sunjian Zheng and Pengtao Shao and Bo Yu and Shaoshan Liu and Jianan Wang and Ning Ding and Yang Cao and Yu Kang},
journal= {arXiv preprint arXiv:2509.22353},
year = {2026}
}