错位距离：情境接近性对图任务中大语言模型性能的影响
人工智能
2025-01-03 v2
摘要
尽管取得了显著的进展，大语言模型（LLM）仍表现出盲点，限制其有效检索和处理相关情境数据的能力。我们展示，对于超越“针尖般的 haystack 场景”——即需要跨多个子问题进行联合交叉引用与推理——的图任务，LLM的性能受到相关信息在情境中位置靠近程度的影响，这一现象我们称为“错位距离”。我们检查了两种基本图任务：识别两个节点之间的公共连接，以及评估三个节点间的相似性，结果表明，这些任务中的模型性能显著取决于公共边的相对位置。我们评估了三个公开可用的 LLM，采用多种图编码技术表示图结构以供模型输入。我们提出了“错位距离”现象的形式化表述，并演示了错位距离与“错位中间”现象是独立发生的。结果表明，随着节点连接距离的增加，模型准确率可下降最高达 6 倍，且这与图编码方式和模型规模无关。
引用
@article{arxiv.2410.01985,
title = {Lost-in-Distance: Impact of Contextual Proximity on LLM Performance in Graph Tasks},
author = {Hamed Firooz and Maziar Sanjabi and Wenlong Jiang and Xiaoling Zhai},
journal= {arXiv preprint arXiv:2410.01985},
year = {2025}
}