嘿，这是我的数据！大语言模型中的基于 token 的数据集推断
计算与语言
2026-05-05 v2 人工智能
摘要
大语言模型（LLM）依赖海量训练数据集，其中常包含专有数据，引发未授权使用和侵犯版权的担忧。现有数据集推断方法通常需要访问对数概率或其他内部信号，但许多现代LLM限制此类访问，催生基于仅token推断的方法。我们提出CatShift，一种基于遗忘崩溃（catastrophic forgetting）的token-only数据集推断框架，模型在训练新数据时会覆盖先前知识。对LLM在数据子集上进行微调会导致输出偏移大于在未见数据上进行微调。CatShift将这些偏移与来自已知非成员验证集的偏移进行比较，以推断数据集是否包含在训练中。在开源和API-based LLM上实验表明，CatShift在无需logit访问的情况下仍有效，能够实用地保护专有数据集。
关键词
引用
@article{arxiv.2506.06057,
title = {Hey, That's My Data! Token-Only Dataset Inference in Large Language Models},
author = {Chen Xiong and Zihao Wang and Rui Zhu and Tsung-Yi Ho and Pin-Yu Chen and Jingwei Xiong and Haixu Tang},
journal= {arXiv preprint arXiv:2506.06057},
year = {2026}
}