解密参数化与非参数化记忆在检索增强型语言模型中的相互作用
计算与语言
2024-10-08 v1
摘要
生成式语言模型常常在处理专业或讨论不多的知识时表现不佳。检索增强生成 (RAG) 模型是其中的一种潜在解决方案，通过在生成响应前检索信息来实现类似检索的行为。本研究探索了 \textsc{Atlas} 方法——一种 RAG 模型——在决定依赖已知信息（参数化）还是检索信息（非参数化）方面的决策机制。我们使用因果中介分析和控制实验来检查内部表示如何影响信息处理。我们的发现对参数化知识与检索上下文的效应进行了解耦。结果表明，在模型可以在两类信息之间做出选择时，它更依赖于上下文而非参数化知识。此外，分析还探讨了模型如何使用上下文信息的计算机制。我们发现，模型内部存在多种机制，可通过中介分析检测到：首先是是否存在上下文相关性的决定，其次是编码器如何计算输出表示以支持在相关时进行复制。
引用
@article{arxiv.2410.05162,
title = {Deciphering the Interplay of Parametric and Non-parametric Memory in Retrieval-augmented Language Models},
author = {Mehrdad Farahani and Richard Johansson},
journal= {arXiv preprint arXiv:2410.05162},
year = {2024}
}
备注
Accepted at EMNLP 2024