从流行文本记忆推断大型语言模型的规模

大型语言模型（LLM）的参数计数往往被开发者保密，导致模型规模——这是解释能力和成本的首要参考点——大多不为人所知。我们提出一种黑箱方法，从生成的文本输出中推断LLM规模的保守下界，仅需提交文本片段并观察下一个标记的预测。我们的ethods grounded in a key observation: popular, widely-circulated texts—such as classical literature, religious texts, and foundational documents—are present in virtually every large-scale pretraining corpus, and how accurately a model predicts the next word across text fragments of varying length is a reliable signal of how much it has memorized them, which in turn is fundamentally limited by its total parameter count. 我们将这种记忆信号聚合到多样化的文本语料库和片段长度中，生成每个模型的单个准确率轮廓向量，并在其上构建两种互补的推断方法：一种用于确定两个模型中哪个更大的成对统计检验，以及一种通过主成分分析（PCA）从这些向量中提取一维潜在指数的比例定律估计器，将聚合信号映射到参数计数。经过广泛的开源模型验证，两种方法都产生准确可靠的下界。当应用于流行封闭模型时，我们的框架恢复了内部产品层次结构，揭示了行业规模策略的明显分歧：一些开发者产生显著更高的下界，表明大型代际参数增长，而另一些人则受严格的参数上限约束，表明隐藏的设计选择即使在严格的API限制下也能被系统性地探测。