Dr3：在开放域多跳问答中引导大语言模型避免给出离题答案
计算与语言
2024-03-20 v1
摘要
开放域多跳问答（ODMHQA）在自然语言处理（NLP）中扮演着关键角色，其目标是通过对从外部知识源检索到的信息进行多步推理来回答复杂问题。近来，大语言模型（LLMs）凭借其规划、推理和工具使用等能力，在解决 ODMHQA 方面表现出了卓越的性能。然而，LLMs 在尝试解决 ODMHQA 时可能会生成离题答案，即生成的答案与原始问题无关。这种离题答案问题约占错误答案的三分之一，尽管其影响显著，但仍未得到充分探索。为缓解这一问题，我们提出了“判别->重组->再求解->再分解”（Dr3）机制。具体而言，判别器利用 LLMs 的内在能力来判断生成的答案是否离题。一旦检测到离题答案，校正器便沿着逆向推理链（重组->再求解->再分解）逐步进行修正，直至最终答案切题。在 HotpotQA 和 2WikiMultiHopQA 数据集上的实验结果表明，我们的 Dr3 机制显著减少了 ODMHQA 中离题答案的出现，降幅接近 13%，与未采用 Dr3 机制的基线方法相比，精确匹配（EM）性能提升了近 3%。
引用
@article{arxiv.2403.12393,
title = {Dr3: Ask Large Language Models Not to Give Off-Topic Answers in Open Domain Multi-Hop Question Answering},
author = {Yuan Gao and Yiheng Zhu and Yuanbin Cao and Yinzhi Zhou and Zhen Wu and Yujie Chen and Shenglan Wu and Haoyuan Hu and Xinyu Dai},
journal= {arXiv preprint arXiv:2403.12393},
year = {2024}
}
备注
LREC-COLING 2024, Long Paper