大语言模型预训练数据暴露：会员推理、数据污染与安全影响综述
计算与语言
2026-05-27 v1 人工智能
机器学习
摘要
大语言模型（LLM）已成为自然语言处理領域的主流范式，推動了研究與產業的發展。隨著模型規模與預訓練數據的擴大，對預訓練數據暴露（Pretraining Data Exposure, PDE）的關切日益增加，這與數據規模與不透明度有關。PDE 指的是確定特定數據是否出現在 LLM 預訓練語料庫中的能力。這對確保評估完整性和保護隱私至關重要，交叉涉及兩個關鍵領域：數據污染和會員推理。雖然這兩個領域概念上相關，但往往被獨立研究。本文在 PDE 框架下，首次對兩者進行統一調查。我們在 PDE 框架下正式化暴露層級，檢視攻擊與防禦方法，綜合實證 findings，並指出開放挑戰與未來研究方向。
引用
@article{arxiv.2605.26133,
title = {Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications},
author = {Ziyi Tong and Feifei Sun and Le Minh Nguyen},
journal= {arXiv preprint arXiv:2605.26133},
year = {2026}
}
备注
accepted by NLDB 2025