顺序效应：探讨 LLM 输入顺序敏感性
计算与语言
2025-05-12 v2
摘要
随着大型语言模型（LLM）成为越来越多样化应用的核心，其在不同输入条件下的可靠性至关重要。影响这一可靠性的一个关键问题是顺序敏感性，即输入排列的微小变化会导致不一致或偏导的输出。尽管近期进展有所缓解，但该问题仍未得到根本解决。本文研究了那些其内部组件对用户不可见的 LLM（如封闭源模型或通过 API 调用的模型）的顺序敏感性。我们在多个任务上进行实验，包括改写、相关性判断和多选题。我们的结果表明，输入顺序在各类任务中显著影响性能，乱序输入会导致输出准确率的可测下降。few-shot 提示在效果上呈现混合情况，部分缓解了问题，但未能完全解决。这些发现凸显了在高风险应用中的持续风险，并指向在未来开发中需要更稳健的 LLM 或改进的输入处理技术。
引用
@article{arxiv.2502.04134,
title = {The Order Effect: Investigating Prompt Sensitivity to Input Order in LLMs},
author = {Bryan Guan and Tanya Roosta and Peyman Passban and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:2502.04134},
year = {2025}
}
备注
The first 3 authors have contributed equally