重访大型语言模型中非逐字记忆：实体表面形式的作用
计算与语言
2026-04-24 v1
摘要
理解大型语言模型 (LLM) 记忆的哪些事实知识对于评估其可靠性和局限性至关重要。基于实体的问答是分析非逐字记忆的常见框架，但典型评估使用单个标准化表面形式查询每个实体，使难以 disentangle 事实记忆与通过特定名称访问之间的区别。我们引入 RedirectQA，这一基于实体的问答数据集，通过利用维基百科重定向信息，将 Wikidata 事实三元组与每个实体的分类表面形式关联起来，包括备用名称、缩写、拼写变体和常见错误形式。在 13 个 LLM 中，我们检查表面条件下的事实记忆，发现当仅更改实体表面形式时，预测结果常常会发生变化。这种不一致性是类别依赖的：模型对轻微正规化变体更稳健，而对较大词汇变体如别名和缩写则不那么稳健。频率分析进一步表明，实体频率和表面频率都与准确率相关，且实体频率常常在表面频率之上作出贡献。总体而言，事实记忆既非纯粹基于表面的特定记忆，也不完全是表面不变的，凸显了在评估非逐字记忆中考虑表面形式多样性的重要性。
引用
@article{arxiv.2604.21882,
title = {Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms},
author = {Yuto Nishida and Naoki Shikoda and Yosuke Kishinami and Ryo Fujii and Makoto Morishita and Hidetaka Kamigaito and Taro Watanabe},
journal= {arXiv preprint arXiv:2604.21882},
year = {2026}
}
备注
Accepted to ACL 2026 Main