揭示选择偏差：探索大型语言模型中的顺序和标记敏感性
计算与语言
2024-06-06 v1 人工智能
摘要
本文研究大型语言模型（LLM）中的“选择偏差”现象，重点关注模型需要从有序序列中选择最优选项的问题。我们深入探讨了与选项顺序和标记使用相关的偏差，这些偏差显著影响LLM的决策过程。我们还通过跨多个模型和任务的广泛实证分析量化了这些偏差的影响。此外，我们提出了缓解策略以提升模型性能。我们的主要贡献有三点：1）精确量化选项顺序和标记对LLM的影响；2）开发缓解标记和顺序敏感性影响的策略以增强鲁棒性；3）提供跨模型和任务的敏感性详细分析，为创建更稳定可靠的LLM选择问题应用提供指导。
引用
@article{arxiv.2406.03009,
title = {Unveiling Selection Biases: Exploring Order and Token Sensitivity in Large Language Models},
author = {Sheng-Lun Wei and Cheng-Kuang Wu and Hen-Hsen Huang and Hsin-Hsi Chen},
journal= {arXiv preprint arXiv:2406.03009},
year = {2024}
}
备注
Accepted as a long findings paper at ACL 2024