序列化中的迷失：LLM 图reasoner 的不变性与泛化
机器学习
2025-11-27 v2 人工智能
摘要
尽管前景光明，基于大语言模型（LLMs）的图reasoner缺乏对图表示中对称性的内置不变性。 operating on sequential graph serializations，LLMs 在节点重新编号、边排序或格式变化时可能产生不同的输出，这引发了鲁棒性方面的顾虑。我们系统性地分析了这些影响，研究了微调如何影响编码灵敏度以及对未见任务的泛化。我们提出了一种对图序列化进行原结构分解的方法，将其分为节点标记、边编码和语法三个部分，并在全面的基准测试套件上评估 LLMs 对每种因素变化的鲁棒性。我们还贡献了一个新型谱系任务，以进一步评估微调后reasoner的泛化能力。结果表明，较大的（未微调）模型更具鲁棒性。微调会降低对节点重新标记的敏感性，但可能增加对结构和格式变化的敏感性，而且在未见任务上并不一致地提升性能。
关键词
引用
@article{arxiv.2511.10234,
title = {Lost in Serialization: Invariance and Generalization of LLM Graph Reasoners},
author = {Daniel Herbst and Lea Karbevska and Divyanshu Kumar and Akanksha Ahuja and Fatemeh Gholamzadeh Nasrabadi and Fabrizio Frasca},
journal= {arXiv preprint arXiv:2511.10234},
year = {2025}
}
备注
AAAI 2026 Workshop on Graphs and more Complex Structures For Learning and Reasoning (GCLR). Version 2 fixes typos in author name and Figure 1