面向非知识密集型任务的提示引导检索增强
计算与语言
2023-05-30 v1
摘要
检索增强方法因利用外部资源中的有用信息来支持下游任务而受到越来越多的关注。近期研究主要聚焦于探索检索以解决知识密集型（KI）任务。然而，检索对于大多数非知识密集型（NKI）任务的潜力仍待充分挖掘。将检索增强方法用于 NKI 任务面临两个主要挑战：1）对多样化相关性打分函数的需求；2）训练成本与任务性能之间的两难困境。为应对这些挑战，我们提出一种用于 NKI 任务的两阶段框架，名为 PGRA。在第一阶段，我们采用任务无关检索器构建共享静态索引并高效筛选候选证据。在第二阶段，我们设计提示引导重排器，根据任务特定相关性为阅读器对最近邻证据重排序。实验结果表明，PGRA 优于其他最先进的检索增强方法。我们的分析进一步探究了影响模型性能的因素，并证明了 PGRA 的通用性。代码发布于 https://github.com/THUNLP-MT/PGRA。
引用
@article{arxiv.2305.17653,
title = {Prompt-Guided Retrieval Augmentation for Non-Knowledge-Intensive Tasks},
author = {Zhicheng Guo and Sijie Cheng and Yile Wang and Peng Li and Yang Liu},
journal= {arXiv preprint arXiv:2305.17653},
year = {2023}
}