面向大语言模型涌现能力的非平稳框架
计算与语言
2025-03-03 v2 人工智能
机器学习
摘要
大语言模型具有在规模提升时意外涌现的能力，但我们需要一种理论框架来解释其涌现的原因与方式。我们证明语言模型实际上是非平稳系统，并基于 Stuart Kauffman 提出的相邻可能性理论（TAP）构建了数学框架，以解释能力的涌现。我们的资源受限 TAP 方程展示了架构、训练和上下文约束如何通过语义空间中的相位过渡塑造模型能力。我们通过对三种不同语言模型的实验表明，能力通过由约束相互作用和路径依赖探索引导的离散过渡方式涌现。该框架为理解语言模型中的涌现提供了理论依据，并指导开发能够引导能力涌现的架构。
引用
@article{arxiv.2501.01638,
title = {A non-ergodic framework for understanding emergent capabilities in Large Language Models},
author = {Javier Marín},
journal= {arXiv preprint arXiv:2501.01638},
year = {2025}
}