ReCaLL：基于相对条件对数似然的成员推断
计算与语言
2025-05-26 v2 机器学习
摘要
大型语言模型（LLMs）的快速扩展引发了对其预训练所用数据透明度和公平使用的担忧。由于数据规模庞大且每个实例在训练过程中的暴露有限，检测此类内容具有挑战性。我们提出 ReCaLL（相对条件对数似然），一种新颖的成员推断攻击（MIA），通过利用 LLMs 的条件语言建模能力来检测其预训练数据。ReCaLL 检查在目标数据点前添加非成员上下文时条件对数似然的相对变化。我们的实证结果表明，对成员数据施加非成员前缀会导致对数似然比非成员数据更大的下降。我们进行了全面的实验，表明 ReCaLL 在 WikiMIA 数据集上达到了最先进的性能，即使使用随机和合成前缀也是如此，并且可以通过集成方法进一步改进。此外，我们对 LLMs 在不同成员上下文下的行为进行了深入分析，揭示了 LLMs 如何在序列和词元级别利用成员信息进行有效推断。
引用
@article{arxiv.2406.15968,
title = {ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods},
author = {Roy Xie and Junlin Wang and Ruomin Huang and Minxing Zhang and Rong Ge and Jian Pei and Neil Zhenqiang Gong and Bhuwan Dhingra},
journal= {arXiv preprint arXiv:2406.15968},
year = {2025}
}
备注
Accepted to EMNLP 2024 Main Conference