中文

评论树:面向多跳问答的基于树结构的动态迭代检索框架

计算与语言 2024-04-24 v1 人工智能 信息检索

摘要

多跳问答是一种知识密集型的复杂问题。大型语言模型(LLM)利用其链式思维(Chain of Thoughts, CoT)能力,逐步推理以解决复杂问题,检索增强可有效缓解LLM中因知识过时或不完整而导致的事实错误。近期研究在链式思维推理中引入检索增强,以解决多跳问答问题。然而,这些链式方法存在以下问题:1)检索到的无关段落可能干扰推理过程;2)链式结构中的错误可能引发连锁反应。本文提出一种动态检索框架,称为评论树(Tree of Reviews, ToR),其中根节点为问题,其余节点为检索得到的段落,形成从根节点延伸至其他节点的不同推理路径。该框架根据推理路径上的段落,动态决定是启动新检索、拒绝还是接受。与相关工作相比,本文引入树状结构来单独处理每个检索段落,缓解了无关段落对推理路径的干扰作用;推理路径扩展的多样性减少了单次推理错误对整体的影响。我们在三个不同的多跳问答数据集上进行了实验。结果表明,与基线方法相比,ToR在检索和响应生成方面均实现了最新水平性能。此外,我们提出两种基于树的搜索优化策略——修剪和有效扩展,以减少时间开销并增加路径扩展的多样性。我们将发布代码。

关键词

引用

@article{arxiv.2404.14464,
  title  = {Tree of Reviews: A Tree-based Dynamic Iterative Retrieval Framework for Multi-hop Question Answering},
  author = {Li Jiapeng and Liu Runze and Li Yabo and Zhou Tong and Li Mingling and Chen Xiang},
  journal= {arXiv preprint arXiv:2404.14464},
  year   = {2024}
}

备注

Keywords: Muti-hop Question Answering; Retrieval-Augmented Generation; Tree of Thought; Reasoning TLDR: We proposed a tree-based dynamic, iterative retrieval framework for multi-hop question answering