相关信息片段之间的距离导致长上下文 LLM 中的偏差
计算与语言
2025-05-29 v3 人工智能
摘要
大型语言模型 (LLM) 中的位置偏差阻碍了其有效处理长文本输入的能力。一个突出例子是“lost in the middle”现象，即 LLM 在处理输入中间位置的相关信息时表现不佳。虽然 prior research 主要关注单个相关信息片段，但实际应用中常涉及多个相关信息片段。为弥合这一差距，我们提出了 LongPiBench—a 一个用于评估涉及多个相关信息片段位置偏差的基准测试。我们对五个商业模型和六个开源模型进行了彻底的实验。这些实验揭示了尽管大多数当前模型对“lost in the middle”问题具有鲁棒性，但存在与相关信息片段间距相关的显著偏差。这一发现凸显了评估和减少位置偏差的重要性，以推动 LLM 能力的进一步发展。
引用
@article{arxiv.2410.14641,
title = {Distance between Relevant Information Pieces Causes Bias in Long-Context LLMs},
author = {Runchu Tian and Yanghao Li and Yuepeng Fu and Siyang Deng and Qinyu Luo and Cheng Qian and Shuo Wang and Xin Cong and Zhong Zhang and Yesai Wu and Yankai Lin and Huadong Wang and Xiaojiang Liu},
journal= {arXiv preprint arXiv:2410.14641},
year = {2025}
}
备注
ACL 2025 Findings