失忆式机器学习

被遗忘权是最近颁布的《通用数据保护条例》（GDPR）法律的一部分，适用于任何持有欧盟居民数据的资料持有者。它赋予欧盟居民要求删除其个人数据的能力，包括用于训练机器学习模型的训练记录。遗憾的是，深度神经网络模型易遭受信息泄露攻击，如从训练模型中提取类别信息的模型反演攻击，以及判定某样本是否存在于模型训练数据中的成员推断攻击。若恶意方能够发起攻击并学到本应被删除的隐私信息，则意味着模型拥有者未妥善保护用户权利，其模型可能不符合 GDPR 法律。本文提出两种高效方法，解决模型拥有者或数据持有者如何以不易受模型反演与成员推断攻击、同时保持模型效能的方式从模型中删除个人数据的问题。我们首先给出一个显示仅移除训练数据不足以保护用户的真实威胁模型。随后提出两种数据移除方法，即反学习（Unlearning）与失忆式反学习（Amnesiac Unlearning），使模型拥有者在符合法规的同时抵御此类攻击。我们提供了广泛的实证分析，表明这些方法确实高效、安全可用，能在保持模型效能的同时有效移除训练模型中对敏感数据所学到的信息。