从模型提取数据：从非鲁棒与鲁棒模型中抽取数据
计算机视觉与模式识别
2020-07-14 v1 机器学习
摘要
深度学习的本质是利用数据训练深度神经网络（DNN）模型。本文探索从模型生成数据的逆过程，试图揭示数据与模型之间的关系。我们依次重复“数据到模型”（DtM）与“从模型到数据”（DfM）的过程，并通过测量在原始验证集上的精度下降来探究特征映射信息的损失。我们对非鲁棒与鲁棒的初始模型均进行了该实验。结果表明，即便经过多轮 DtM 与 DfM 序列，精度下降依然有限，尤其是鲁棒模型。这种循环转换的成功可归因于数据与模型中存在的共享特征映射。使用相同数据，我们观察到不同的 DtM 过程会产生具有不同特征的模型，尤其对于不同的网络架构族而言，即便它们取得了相近的性能。
引用
@article{arxiv.2007.06196,
title = {Data from Model: Extracting Data from Non-robust and Robust Models},
author = {Philipp Benz and Chaoning Zhang and Tooba Imtiaz and In-So Kweon},
journal= {arXiv preprint arXiv:2007.06196},
year = {2020}
}
备注
Accepted at the CVPR 2020 Workshop on Adversarial Machine Learning in Computer Vision