代码胜于言辞：通过代码锚定推理克服语义惯性
计算与语言
2026-02-03 v2 人工智能
摘要
LLM 难以应对语义惯性：当动态的上下文规则与预训练先验（如“熔岩是危险的”）相矛盾时，模型无法抑制这些先验。我们使用 Baba Is You 探究这一现象，该游戏中物理法则为可变的文本规则，从而能够精确评估模型在规则改变时覆盖已学先验的能力。我们定量观察到，较大的模型可能表现出逆标度效应：当自然语言推理需要抑制预训练关联（如接受“熔岩是安全的”）时，其表现不如较小的模型。我们的分析将此归因于自然语言编码将描述性语义与逻辑规则纠缠在一起，导致尽管存在明确的矛盾规则，仍对熟悉的物理现象产生持续幻觉。本文表明，将动态表示为可执行代码而非描述性文本，可逆转这一趋势并实现有效的先验抑制。我们提出了 Code-Grounded Vistas（LCV），在反事实对上微调模型并识别具有矛盾规则的状态，从而迫使注意力集中于逻辑约束而非视觉语义。这种训练时方法在效率和准确率上均优于昂贵的推理时搜索方法。我们的结果表明，表征从根本上决定了标度是促进还是损害上下文推理。这挑战了更大模型普遍更好的假设，对需要动态覆盖已学先验的领域具有启示意义。
引用
@article{arxiv.2601.18352,
title = {Code over Words: Overcoming Semantic Inertia via Code-Grounded Reasoning},
author = {Manjie Xu and Isabella Yin and Xinyi Tu and Chi Zhang and Yixin Zhu},
journal= {arXiv preprint arXiv:2601.18352},
year = {2026}
}