据称等价却并非如此？预训练中的实体频率在 LLM 中诱导不对称现象
计算与语言
2025-07-15 v2
摘要
理解和缓解大语言模型（LLM）中的幻觉现象对于确保可靠内容生成至关重要。虽然先前研究主要关注 LLM 幻觉发生的"何时”，但我们的工作解释了"为何”以及直接将模型行为与构成其先验知识的预训练数据联系起来。具体而言，我们证明在识别逻辑等价事实时存在不对称性，这可归因于实体作为主语与作为宾语出现的频率差异。鉴于大多数预训练数据集无法获取，我们利用完全开源的 OLMo 系列产品，通过索引其 Dolma 数据集来估计实体频率。使用来自 Wikidata5M 的关系事实（表示为三元组），我们构建探针数据集以隔离此效应。我们的实验揭示，主语频率高、宾语频率低的事实被识别得更好，尽管其逻辑等价事实的相反情况亦然。在高频到低频的设置中，模式恰好相反；当两个实体均为高频时，几乎不存在统计显著不对称。这些发现突显了预训练数据在塑造模型预测中的重要作用，并为推断封闭或部分封闭 LLM 的预训练数据特征提供了洞见。
引用
@article{arxiv.2503.22362,
title = {Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs},
author = {Yuan He and Bailan He and Zifeng Ding and Alisia Lupidi and Yuqicheng Zhu and Shuo Chen and Caiqi Zhang and Jiaoyan Chen and Yunpu Ma and Volker Tresp and Ian Horrocks},
journal= {arXiv preprint arXiv:2503.22362},
year = {2025}
}
备注
Accepted at COLM 2025