小型语言模型中的图属性推断：表示与推理策略的影响
机器学习
2026-04-30 v2
摘要
语言建模的最新进展已扩展了通过自然语言界面方法涉及的任务范围，包括需要结构化推理的问题。然而，仍不清楚有限容量的语言模型如何有效推断当这些结构以文本形式呈现时的形式化关系结构的属性。我们对图论属性推断在小型指令调优语言模型中的情况进行系统性研究，孤立地考察输入表示与推理策略的作用。我们在三个模型上评估了多样化的局部和全局图指标，发现小型语言模型难以实现可靠的图属性估计：归一化误差始终超过目标属性的固有离散度，等级相关系数在所有配置下都很弱。然而，这种失败是有结构的而非均匀的。邻接表编码始终能够减少误差并提高序数一致性，而多分支推理在各种配置下均可实现可衡量的整体性提升。这些结果表明，在没有任务特定的微调或架构调整的情况下，预训练的小型语言模型中的图属性推断仍然根本不可靠，但表示组织和推理设计的选择会产生一致的差异。本研究阐明了结构化推理何时会降解的条件，并识别了在受限模型容量下哪些设计选择可产生改进。
引用
@article{arxiv.2603.06635,
title = {Graph Property Inference in Small Language Models: Effects of Representation and Reasoning Strategy},
author = {Michal Podstawski},
journal= {arXiv preprint arXiv:2603.06635},
year = {2026}
}