Gap-K%：衡量顶级预测间隙用于检测预训练数据

大型语言模型（LLM）中海量预训练语料库的不透明性引发了显著的隐私和版权问题，使得预训练数据检测成为一个关键挑战。现有研究方法通常依赖词元概率，却忽略了模型顶级预测与局部相邻词元之间的数据散度。本文提出了 Gap-K%，一种基于 LLM 预训练优化动力学的新型预训练数据检测方法。通过分析下一个词元预测的目标函数，我们观察到模型顶级预测与目标词元之间的差异会引发强大的梯度信号，这些信号在训练过程中被显式惩罚。基于此，Gap-K% 利用顶级预测词元与目标词元之间的对数概率间隙，并引入滑动窗口策略以捕捉局部相关性并缓解词元级波动。对 WikiMIA 和 MIMIR 数据集上的大量实验表明，Gap-K% 在各种模型规模和输入长度下均实现了最先进的性能，持续优于先前的基线方法。