链码思维下的检索增强生成实证研究
计算与语言
2024-09-02 v2
摘要
自2022年底ChatGPT发布以来，以ChatGPT为代表的生成式对话模型在日常生活中迅速成为必不可少的工具。随着用户期望的提升，增强生成式对话模型解决复杂问题的能力已成为当前研究的焦点。本文深入研究了RAFT (Retrieval Augmented Fine-Tuning) 方法在提升生成式对话模型性能方面的有效性。RAFT 将链码思维与模型监督微调 (SFT) 和检索增强生成 (RAG) 结合起来，显著提升了模型的信息提取和逻辑推理能力。我们在多个数据集上评估了RAFT方法，并分析了其在各种推理任务中的表现，包括长形式问答和短形式问答任务、中英文任务以及支持性和比较推理任务。值得注意的是，它填补了以往研究在长形式问答任务和中文数据集方面的空白。此外，我们还评估了链码思维 (CoT) 在RAFT方法中的益处。这项工作为致力于提升生成式对话模型性能的研究提供了宝贵的见解。
引用
@article{arxiv.2407.15569,
title = {An Empirical Study of Retrieval Augmented Generation with Chain-of-Thought},
author = {Yuetong Zhao and Hongyu Cao and Xianyu Zhao and Zhijian Ou},
journal= {arXiv preprint arXiv:2407.15569},
year = {2024}
}
备注
Accepted by ISCSLP 2024