论大语言模型中结构信息的涌现与测试时利用
计算与语言
2026-01-27 v1 机器学习
摘要
从观测数据中学习结构信息是在训练语料库之外产生新知识的核心。这不仅适用于科学发现中的机制理解，也适用于灵活的测试时组合生成。因此，我们研究语言模型如何学习抽象结构并在测试时利用所学到的结构信息。为了确保受控的实验设置，我们设计了一个基于语言结构转换的自然语言数据集。我们实证表明，结构信息学习的涌现与复杂推理任务相关，并且执行测试时组合生成的能力仍然有限。
引用
@article{arxiv.2601.17869,
title = {On the Emergence and Test-Time Use of Structural Information in Large Language Models},
author = {Michelle Chao Chen and Moritz Miller and Bernhard Schölkopf and Siyuan Guo},
journal= {arXiv preprint arXiv:2601.17869},
year = {2026}
}