中文

论数据集推断的鲁棒性

机器学习 2023-06-21 v3 密码学与安全

摘要

机器学习(ML)模型训练成本高昂,因为它们可能需要大量数据、计算资源和技术专长。因此,它们构成有价值的知识产权,需要保护以免遭意图窃取的对手。所有权验证技术使模型窃取攻击的受害者能够证明其可疑模型实际上是从他们的模型中窃取的。尽管已提出若干基于水印或指纹识别的所有权验证技术,但其中大多数要么在安全性保证方面不足(装备精良的对手可规避验证),要么计算成本高昂。一种指纹识别技术——数据集推断(DI)——已被证明比先前方法具有更好的鲁棒性和效率。DI 的作者为线性(可疑)模型提供了正确性证明。然而,在同一设置的子空间中,我们证明 DI 存在高假阳性(FPs)——它可能将使用来自同一分布的互不重叠数据训练的独立模型错误识别为被窃取。我们进一步证明 DI 在现实的非线性可疑模型中也会触发 FPs。随后我们通过实验证实,黑盒设置下的 DI 会以高置信度导致 FPs。其次,我们表明 DI 还存在假阴性(FNs)——对手可以通过使用对抗训练正则化被窃取模型的决策边界来欺骗 DI(以承受一定精度损失为代价),从而导致 FN。为此,我们证明黑盒 DI 无法识别从被窃取数据集对抗训练的模型——即 DI 最难规避的设置。最后,我们讨论了我们的发现的影响、基于指纹识别的所有权验证的总体可行性,并建议了未来工作的方向。

关键词

引用

@article{arxiv.2210.13631,
  title  = {On the Robustness of Dataset Inference},
  author = {Sebastian Szyller and Rui Zhang and Jian Liu and N. Asokan},
  journal= {arXiv preprint arXiv:2210.13631},
  year   = {2023}
}

备注

19 pages; Accepted to Transactions on Machine Learning Research 06/2023