文本生成模型中的数据来源审计
密码学与安全
2019-05-21 v2 计算与语言
机器学习
机器学习
摘要
为帮助执行 GDPR 等数据保护法规并检测对个人数据的未授权使用，我们开发了一种新的模型审计（model auditing）技术，帮助用户检查其数据是否被用于训练机器学习模型。我们聚焦于审计生成自然语言文本（包括词预测与对话生成）的深度学习模型。这些模型是流行在线服务的核心，并常在个人数据（如用户的消息、搜索、聊天和评论）上训练。我们设计并评估了一种黑盒审计方法，该方法仅需对模型进行极少查询，即可检测特定用户的文本是否被用于训练该模型（在数千名其他用户之中）。我们通过实验表明，该方法能够成功审计未对训练数据过拟合、泛化良好的模型。我们还分析了文本生成模型如何记忆词序列，并解释了这种记忆为何使其可被审计。
引用
@article{arxiv.1811.00513,
title = {Auditing Data Provenance in Text-Generation Models},
author = {Congzheng Song and Vitaly Shmatikov},
journal= {arXiv preprint arXiv:1811.00513},
year = {2019}
}