TDDBench：训练数据检测基准
密码学与安全
2025-08-12 v2 机器学习
摘要
训练数据检测（TDD）是一项旨在确定特定数据实例是否被用于训练机器学习模型的任务。在计算机安全文献中，TDD 也被称为成员推理攻击（MIA）。鉴于其在评估训练数据泄露风险、确保版权认证以及验证模型遗忘方面的潜力，TDD 近年来受到了广泛关注，催生了众多方法。尽管取得了这些进展，目前仍缺乏一个全面的基准来彻底评估 TDD 方法的有效性。在本工作中，我们引入了 TDDBench，它包含跨越三种数据模态（图像、表格和文本）的 13 个数据集。我们在四种检测范式下对 21 种不同的 TDD 方法进行了基准测试，并从五个角度评估了它们的性能：平均检测性能、最佳检测性能、内存消耗以及时间和内存上的计算效率。借助 TDDBench，研究人员可以识别 TDD 算法中的瓶颈和有待改进的领域，而从业者可以在为特定用例选择 TDD 算法时，在有效性和效率之间做出明智的权衡。我们的广泛实验还揭示了 TDD 算法在不同数据集上普遍不令人满意的性能。为了增强可访问性和可复现性，我们向研究社区开源了 TDDBench：https://github.com/zzh9568/TDDBench。
引用
@article{arxiv.2411.03363,
title = {TDDBench: A Benchmark for Training data detection},
author = {Zhihao Zhu and Yi Yang and Defu Lian},
journal= {arXiv preprint arXiv:2411.03363},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025