FACT：探究迭代式上下文重写在多事实检索中的有效性
计算与语言
2024-10-29 v1 人工智能
摘要
大语言模型（LLMs）擅长从长上下文中检索单一事实，但在需要同时检索多个事实的任务中，尤其是在生成过程中，却表现不佳。本文发现了一种新的“迷失在中间”现象，即大语言模型在生成过程中逐渐丢失关键信息的追踪，导致检索不完整或不准确。为应对这一挑战，我们提出了“查找所有关键文本”（Find All Crucial Texts, FACT）方法，这是一种通过连续多轮重写来精炼上下文的迭代检索方法。该方法使模型能够逐步捕获在单次检索中常被忽略的关键事实。实验表明，FACT 显著提升了多种任务中的多事实检索性能，尽管在通用问答场景中提升不那么显著。我们的发现揭示了大语言模型在多事实检索方面的局限性，并强调了开发更具鲁棒性的长上下文检索策略的必要性。
引用
@article{arxiv.2410.21012,
title = {FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval},
author = {Jinlin Wang and Suyuchen Wang and Ziwen Xia and Sirui Hong and Yun Zhu and Bang Liu and Chenglin Wu},
journal= {arXiv preprint arXiv:2410.21012},
year = {2024}
}
备注
Work in Progress