MindRef：模仿人类记忆以实现具有细粒度位置意识的分层参考检索
计算与语言
2025-09-23 v3 人工智能
摘要
在完成知识密集型任务时，人类有时需要一个答案以及相应的参考段落以供辅助阅读。先前的方法需要通过额外的检索模型获取预分块的文章片段。本文探讨了利用大型语言模型 (LLMs) 预训练阶段存储的参数化知识，从任意起始位置独立地回忆参考段落。我们提出了一个两阶段框架，模拟人类回忆容易遗忘的参考资料的场景。最初，提示 LLM 回忆文档标题标识符以获得粗粒度文档集。然后，基于获得的粗粒度文档集，回忆细粒度段落。在两阶段回忆过程中，我们使用约束解码以确保不生成存储文档之外的内容。为了提高速度，我们在第二阶段仅回忆短前缀，然后定位其位置以检索完整段落。在 KILT 知识敏感任务上的实验验证了 LLMs 可以在各种任务形式中独立回忆参考段落位置，且所获得的参考显著辅助了下游任务。
引用
@article{arxiv.2402.17010,
title = {MindRef: Mimicking Human Memory for Hierarchical Reference Retrieval with Fine-Grained Location Awareness},
author = {Ye Wang and Xinrun Xu and Zhiming Ding},
journal= {arXiv preprint arXiv:2402.17010},
year = {2025}
}
备注
ACL 2025