面向更可靠响应的RoToR：针对顺序不变输入
计算与语言
2025-06-03 v3 人工智能
摘要
缓解语言模型（LM）对于列表式输入的位置偏差是已知且重要的问题（例如丢失在中间）。虽然已提出零shot顺序不变LM以解决此问题，但其在实际列表问题上的成功效果有限。本文首先识别并克服了两项限制，使零shot不变LM更具实用性：（1）由于修改位置ID分配以强制实现不变性而导致的训练和推断分布不匹配，（2）未能适应实际列表问题中顺序不变与敏感输入的混合。为克服这些问题，我们提出了（1）RoToR：一种针对真正顺序不变输入的零shot不变LM，仅对位置ID进行最小修改；以及（2）Selective Routing：一种适应列表任务中顺序不变和敏感输入的自适应框架。我们在Lost in the middle（LitM）、知识图谱问答（KGQA）和MMLU基准测试上表明，RoToR配合Selective Routing能够以零shot方式有效处理实际的列表输入任务。
引用
@article{arxiv.2502.08662,
title = {RoToR: Towards More Reliable Responses for Order-Invariant Inputs},
author = {Soyoung Yoon and Dongha Ahn and Youngwon Lee and Minkyu Jung and HyungJoo Jang and Seung-won Hwang},
journal= {arXiv preprint arXiv:2502.08662},
year = {2025}
}
备注
Accepted at ACL 2025 main