再次追问，随即改口：大语言模型判断中的摇摆现象
计算与语言
2024-06-12 v5 人工智能
机器学习
摘要
我们观察到，当前的对话语言模型在面对后续问题时常常动摇其判断，即便原始判断是正确的。这种动摇对生成可靠响应与建立用户信任构成了重大挑战。为全面评估此问题，我们引入了 \textsc{Follow-up Questioning Mechanism}（后续提问机制）及两个用于量化该不一致性的度量，证实了其在当前语言模型中的广泛存在。为缓解此问题，我们探索了针对闭源模型的多种提示策略；此外，我们开发了基于训练的框架 \textsc{Unwavering-FQ}，通过合成的高质量偏好数据教导语言模型保持其原本正确的判断。我们的实验结果证实了该框架的有效性及其增强模型通用能力的作用。
引用
@article{arxiv.2310.02174,
title = {Ask Again, Then Fail: Large Language Models' Vacillations in Judgment},
author = {Qiming Xie and Zengzhi Wang and Yi Feng and Rui Xia},
journal= {arXiv preprint arXiv:2310.02174},
year = {2024}
}
备注
Accepted by ACL 2024 main conference