理解泛化良好学习模型上的成员推断
密码学与安全
2018-02-15 v1 机器学习
机器学习
摘要
成员推断攻击（MIA）通过查询机器学习模型来确定某条记录是否存在于该模型的训练数据中。先前的工作表明，当模型对其训练数据过拟合或当对手控制训练算法时，该攻击是可行的。然而，当模型未过拟合且对手不控制训练算法时，该威胁并未被很好地理解。在本文中，我们报告了一项研究，发现过拟合是 MIA 成功的充分但非必要条件。更具体地说，我们证明即使一个泛化良好的模型也包含易受攻击的实例，这些实例会受到一种新的泛化 MIA（GMIA）的攻击。在 GMIA 中，我们采用新技术来选择易受攻击的实例并检测被过拟合指标忽略的其微妙影响。具体而言，我们通过查询黑盒机器学习模型，在真实世界数据集中以高精度成功识别了个体记录。进一步，我们表明一个易受攻击的记录甚至可以通过查询其他相关记录而被间接攻击，并且现有泛化技术被发现对保护这些易受攻击实例的效果较差。我们的发现锐化了对此问题根本成因的理解：训练实例可能对模型产生的独特影响。
引用
@article{arxiv.1802.04889,
title = {Understanding Membership Inferences on Well-Generalized Learning Models},
author = {Yunhui Long and Vincent Bindschaedler and Lei Wang and Diyue Bu and Xiaofeng Wang and Haixu Tang and Carl A. Gunter and Kai Chen},
journal= {arXiv preprint arXiv:1802.04889},
year = {2018}
}