从 RAG 到 RICHES：检索嵌入序列生成
计算与语言
2024-07-02 v1 人工智能
摘要
我们提出 RICHES，一种将检索与序列生成任务交织的方法。RICHES 为传统 RAG 系统提供了一种替代方案，无需独立的检索器和生成器。它通过直接解码内容并受制于语料库来检索文档。将检索与生成统一 allows us to adapt to diverse new tasks via prompting alone. RICHES 可以与任何指令微调模型配合使用，无需额外训练。它提供归因证据，支持多跳检索，并在单次 LLM 解码过程中嵌入思考以规划下一步检索。我们在 ODQA 任务中展示了 RICHES 的强大性能，包括带归因和多跳问答。
引用
@article{arxiv.2407.00361,
title = {From RAG to RICHES: Retrieval Interlaced with Sequence Generation},
author = {Palak Jain and Livio Baldini Soares and Tom Kwiatkowski},
journal= {arXiv preprint arXiv:2407.00361},
year = {2024}
}
备注
18 pages, 3 figures, Preprint