小规模检索增强生成：支持噪声相似性搜索与领域迁移泛化
信息检索
2025-03-27 v2 人工智能
计算与语言
摘要
检索增强生成（RAG）系统如 Retro 已被证明通过检索包含数万亿条条目的非参数记忆数据库来提高语言建模能力，同时降低毒性和幻觉现象。我们引入 Retro-li，表明在小规模数据库中检索也能发挥作用，但需要更精确且更好的邻居在搜索较小且稀疏的非参数记忆时。通过使用恰当的语义相似性搜索可满足这一需求。我们进一步首次提出对非参数记忆进行正则化：在推理过程中邻近搜索操作噪声时，这显著降低了困惑度，并在发生领域迁移时提高了泛化性。我们还展示，Retro-li 的非参数记忆可以潜在地在模拟器内存储硬件上实现，搜索时间为 O(1)，同时在检索邻居时引入噪声，性能损失最小（<1%）。我们的代码已公开：https://github.com/IBM/Retrieval-Enhanced-Transformer-Little。
引用
@article{arxiv.2410.00004,
title = {Retro-li: Small-Scale Retrieval Augmented Generation Supporting Noisy Similarity Searches and Domain Shift Generalization},
author = {Gentiana Rashiti and Geethan Karunaratne and Mrinmaya Sachan and Abu Sebastian and Abbas Rahimi},
journal= {arXiv preprint arXiv:2410.00004},
year = {2025}
}