预训练暴露解释大型语言模型中的流行度判断
计算与语言
2026-05-13 v1
摘要
大型语言模型（LLMs） exhibit 对 well-known entities 的系统性偏好，常被归因于 popularity bias。然而，这些偏好反映的是现实世界的流行度还是预训练期间的统计暴露程度，目前尚不清楚，这主要是由于对大多数训练语料库的不可及导致的。我们提供了首次基于完全可观测预训练数据的流行度偏好大规模分析。依托开放的 OLMo 模型及其完整预训练语料库 Dolma，我们计算了跨 7.4 万亿 token 的精确实体级暴露统计。我们分析 2000 个实体，涵盖五类（Person、Location、Organization、Art、Product），并将预训练暴露与 Wikipedia 页面浏览量以及两种elicited LLM 流行度信号（直接标量估计和两两比较）进行比较。我们的结果表明，预训练暴露与 Wikipedia �行度强烈相关，证明了暴露是训练期间真实世界显著性的有意义代理。更重要的是，我们发现 LLM 流行度判断与暴露的对齐程度高于 Wikipedia，尤其是在通过两两比较elicited 时。这一对齐在大型模型中最为明显，并且在长尾部分持续存在，在那里 Wikipedia �行度变得不可靠。总体而言，我们的发现表明，LLM 中的流行度先验主要由预训练统计塑造，而非外部流行度信号，这提供了数据暴露在驱动流行度偏好中起中心作用的具体证据。
引用
@article{arxiv.2605.12382,
title = {Pretraining Exposure Explains Popularity Judgments in Large Language Models},
author = {Jamshid Mozafari and Bhawna Piryani and Adam Jatowt},
journal= {arXiv preprint arXiv:2605.12382},
year = {2026}
}
备注
Accepted at SIGIR 2026