PLDR-LLMs 位于自组织临界性
人工智能
2026-03-26 v1 计算与语言
机器学习
适应与自组织系统
摘要
我们表明，PLDR-LLMs 在自组织临界性条件下预训练后，在推理阶段表现出推理能力。PLDR-LLM 推理输出的特征类似于二相转变。在临界性条件下，相关长度发生发散，推理输出达到 metastable steady state。该稳态行为表明，推理输出在训练数据集中学习到了等价于尺度函数、普适类和重整化群的表示，从而在过程中实现了泛化和推理能力。我们可以从模型推理时推理输出参数的全局统计量中定义一个序参量。当 PLDR-LLM 的序参量在临界性条件下接近零时，其推理能力更佳。这一观察结果得到在接近临界性和亚临界性条件下训练的模型基准得分的支持。我们的结果为大型语言模型中推理的显现提供了自包含的解释，能够仅从推理输出在稳态下的全局模型参数值来量化推理能力，而无需通过归纳输出来评估精选基准数据集中的推理和理解能力。
引用
@article{arxiv.2603.23539,
title = {PLDR-LLMs Reason At Self-Organized Criticality},
author = {Burc Gokden},
journal= {arXiv preprint arXiv:2603.23539},
year = {2026}
}