面向检索增强语言模型的 MapReduce 长上下文信息有效利用方法
计算与语言
2024-12-23 v1 信息检索
摘要
尽管大语言模型（LLM）在改善和促进医疗保健方面显示出巨大潜力，但因知识陈旧或幻觉，LLM难以生成关于不断演变议题的准确响应。检索增强生成（RAG）是一种关键创新，通过将LLM与搜索引擎和外部知识源集成，提高LLM响应的准确性和相关性。然而，RAG响应的质量很大程度上取决于检索结果中关键信息的排序和密度，例如“信息丢失”问题。在本工作中，我们旨在提高医疗领域RAG工作流程的鲁棒性和可靠性。具体而言，我们提出了BriefContext，以MapReduce策略为目标，旨在解决“信息丢失”问题，无需修改模型权重。我们通过各种LLM底层模型和多个QA数据集演示了该工作流程的优势。该方法有望提高在医疗领域部署的LLM的安全性和可靠性。
引用
@article{arxiv.2412.15271,
title = {A MapReduce Approach to Effectively Utilize Long Context Information in Retrieval Augmented Language Models},
author = {Gongbo Zhang and Zihan Xu and Qiao Jin and Fangyi Chen and Yilu Fang and Yi Liu and Justin F. Rousseau and Ziyang Xu and Zhiyong Lu and Chunhua Weng and Yifan Peng},
journal= {arXiv preprint arXiv:2412.15271},
year = {2024}
}