Déjà Vu：对卷积神经网络记忆特性的实证评估
计算机视觉与模式识别
2018-09-19 v1
摘要
卷积神经网络会记忆其部分训练数据，这正是采用数据增强和 dropout 等策略来缓解过拟合的原因。本文从相关角度考虑“成员推断”问题，其目标是判断某张图像是否在训练时被使用过。我们从三个互补的角度对此进行研究。我们展示了如何检测哪个数据集被用于训练模型，尤其是某些验证图像是否在训练时被使用。接着我们分析显式记忆，并将经典的随机标签实验扩展到学习一个预测图像是否属于任意集合的模型的问题。最后，我们提出了一种在顶层少数层不可用或被微调的情况下推断成员关系的新方法，并表明较低层仍然携带关于训练样本的信息。为支持我们的发现，我们在 Imagenet 和 YFCC-100M 的子集上，使用 VGG 和 Resnet 等现代架构进行了大规模实验。
引用
@article{arxiv.1809.06396,
title = {D\'ej\`a Vu: an empirical evaluation of the memorization properties of ConvNets},
author = {Alexandre Sablayrolles and Matthijs Douze and Cordelia Schmid and Hervé Jégou},
journal= {arXiv preprint arXiv:1809.06396},
year = {2018}
}