秘密共享者：评估与测试神经网络中的非预期记忆
机器学习
2019-07-17 v3 人工智能
密码学与安全
摘要
本文描述了一种测试方法，用于定量评估生成式序列模型（一种常见的机器学习模型）非预期地记忆稀有或独特训练数据序列的风险。由于此类模型有时在敏感数据（例如用户私人消息的文本）上训练，该方法可通过允许深度学习从业者选择使此类记忆最小化的训练方式而有益于隐私。在实验中，我们表明非预期记忆是一个持续的、难以避免的问题，并可能产生严重后果。具体而言，对于未经记忆考量训练的模型，我们描述了新的、高效的程序，可以提取唯一的秘密序列，例如信用卡号。我们表明我们的测试策略是一种实用且易于使用的第一道防线，例如，通过描述其在 Google 的 Smart Compose 中的定量限制数据暴露的应用，Smart Compose 是一个在数百万用户电子邮件上训练的商业文本补全神经网络。
引用
@article{arxiv.1802.08232,
title = {The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks},
author = {Nicholas Carlini and Chang Liu and Úlfar Erlingsson and Jernej Kos and Dawn Song},
journal= {arXiv preprint arXiv:1802.08232},
year = {2019}
}