带密集 passage 检索的控制 token
计算与语言
2024-05-24 v1 人工智能
摘要
本研究针对大型语言模型 (LLM) 中的幻觉问题进行了探讨。我们采用检索增强生成 (RAG) (Lewis 等，2020)，该技术涉及在提示中嵌入相关信息以获取准确答案。然而，RAG 也面临着在检索正确信息方面的内在问题。为此，我们采用密集 passage 检索 (DPR) (Karpukhin 等，2020) 模型获取与用户查询相关的领域特定文档。尽管如此，DPR 模型仍在文档检索方面缺乏准确性。我们通过纳入控制 token 来增强 DPR 模型，相较于标准 DPR 模型实现了显著的性能提升，Top-1 准确率提高了 13%，Top-20 准确率提高了 4%。
引用
@article{arxiv.2405.13008,
title = {Control Token with Dense Passage Retrieval},
author = {Juhwan Lee and Jisu Kim},
journal= {arXiv preprint arXiv:2405.13008},
year = {2024}
}