探索开放域问答中提示生成方法
计算与语言
2024-12-02 v1 信息检索
摘要
自动问答 (QA) 系统依赖于上下文信息才能提供准确的答案。通常，上下文是通过检索式或生成式方法准备的。前者涉及从类似维基百科的语料库中检索相关文档，而后者使用大型语言模型 (LLM) 等生成式模型生成上下文。本文我们引入一种新的上下文准备方法，即 HINTQA，采用自动提示生成 (HG) 技术。与传统方法不同，HINTQA 提示 LLM 为问题生成潜在答案的提示，而非生成相关上下文。我们在包括 TriviaQA、NaturalQuestions 和 Web Questions 在内的三个 QA 数据集上评估了该方法，考察了提示数量和顺序对性能的影响。我们的发现表明，HINTQA 超过了检索式和生成式方法。我们演示提示比检索到的上下文和生成的上下文更能提高答案的准确性。
引用
@article{arxiv.2409.16096,
title = {Exploring Hint Generation Approaches in Open-Domain Question Answering},
author = {Jamshid Mozafari and Abdelrahman Abdallah and Bhawna Piryani and Adam Jatowt},
journal= {arXiv preprint arXiv:2409.16096},
year = {2024}
}
备注
Accepted at EMNLP 2024