语言模型：检索的更多空间
计算与语言
2024-04-18 v1
摘要
检索增强型语言模型是标准语言建模的有前景的替代方案。在 pretraining 期间，这些模型在文档语料库中搜索与语言建模目标相关的上下文信息。我们引入一种'理想检索'方法，以便在完全可控的设置中研究这些模型。我们进行广泛的评估，以检验检索增强对底层语言模型行为的影响。among other things，我们观察到这些模型：i) 在其权重中保存的世界知识显著减少，ii) 在理解局部上下文和词间依赖关系方面更好，但 iii) 在理解全局上下文方面更差。
引用
@article{arxiv.2404.10939,
title = {More Room for Language: Investigating the Effect of Retrieval on Language Models},
author = {David Samuel and Lucas Georges Gabriel Charpentier and Sondre Wold},
journal= {arXiv preprint arXiv:2404.10939},
year = {2024}
}
备注
NAACL 2024