中文

DSR:基于结构化输出的深度问题改写

计算与语言 2025-09-29 v6

摘要

问答是大型语言模型(LLM)的核心能力之一。然而,当个体在文本中遇到不熟悉的知识时,往往会提出无法被文本本身回答的问题,因为对底层信息的理解不足。近期研究表明,尽管 LLM 能够检测不可回答的问题,但在帮助用户改写这些问题方面仍存在挑战。即使是像 GPT-3.5 这样的先进模型,也在这方面表现有限。为此,本文提出了 DSR:Deep Question Reformulation with Structured Output,即一种新的 zero-shot 方法,旨在增强 LLM 帮助用户改写问题以从新文档中提取相关信息的能力。DSR 将 LLM 的优势与一种基于深度优先搜索(DFS)的算法相结合,用于迭代探索潜在的实体组合,并通过预定义实体限制输出。这种结构化方法显著提升了 LLM 的改写能力。全面的实验评估表明,DSR 将 GPT-3.5 的改写准确率从 23.03%23.03\% 提升到 70.42%70.42\%,同时也提升了开源模型如 Gemma2-9B 的性能,从 26.35%26.35\% 提升到 56.75%56.75\%

关键词

引用

@article{arxiv.2411.17993,
  title  = {DRS: Deep Question Reformulation With Structured Output},
  author = {Zhecheng Li and Yiwei Wang and Bryan Hooi and Yujun Cai and Nanyun Peng and Kai-Wei Chang},
  journal= {arXiv preprint arXiv:2411.17993},
  year   = {2025}
}

备注

Accepted to ACL 2025 (Findings)