利用检索增强生成模型的领域自适应进行问答并减少幻觉
计算与语言
2024-10-24 v1 人机交互
摘要
尽管大语言模型的持续进步在各种自然语言处理任务中展现了显著的成功，但检索增强生成模型在问答等下游应用中表现出色。最近，RAG-end2end模型进一步优化了架构，并在领域自适应上取得了显著的性能提升。然而，当在客户服务等专业领域进行微调以构建可靠的对话式AI系统时，这些基于RAG的架构的有效性仍然相对未被探索。此外，一个关键的挑战仍然存在：在保持高领域特定准确性的同时减少幻觉的发生。在本文中，我们通过领域自适应研究了多种RAG和类RAG架构的性能，并评估了它们基于上下文知识库生成准确和相关响应的能力。为了便于模型评估，我们构建了一个新的数据集HotelConvQA，该数据集来源于广泛的酒店相关对话，并在我们的领域特定数据集上微调了所有模型。我们还解决了一个关键的研究空白，即确定领域自适应对不同RAG架构减少幻觉的影响，这是先前工作中未适当衡量的一个方面。我们的评估显示，通过采用领域自适应，所有指标均取得了积极的结果，展示了在问答任务上的强大性能，并提供了关于其在减少幻觉方面有效性的见解。我们的发现清楚地表明，领域自适应不仅增强了模型在问答任务上的性能，而且显著减少了所有评估的RAG架构中的幻觉。
引用
@article{arxiv.2410.17783,
title = {Leveraging the Domain Adaptation of Retrieval Augmented Generation Models for Question Answering and Reducing Hallucination},
author = {Salman Rakin and Md. A. R. Shibly and Zahin M. Hossain and Zeeshan Khan and Md. Mostofa Akbar},
journal= {arXiv preprint arXiv:2410.17783},
year = {2024}
}
备注
Initial Version fine-tuned on HotelConvQA