面向DNN层信息暴露刻画与限制的研究
密码学与安全
2019-07-16 v1 机器学习
摘要
预训练的深度神经网络（DNN）模型正越来越多地用于智能手机及其他用户设备中以提供预测服务，这可能导致这些模型内部所捕获训练数据中的（敏感）信息被披露。基于泛化误差的概念，我们提出一个框架来衡量DNN各层中所记忆的敏感信息量。我们的结果表明，单独考虑时，最后几层比前几层编码了更多来自训练数据的信息。我们发现，虽然卷积层的神经元比全连接层的神经元暴露更多（敏感）信息，但用不同数据集训练的相同DNN架构每层暴露量相似。我们评估了一种在可信执行环境（TEE）内存限制内保护最敏感层以抵御潜在白盒成员推断攻击的架构，且不带来显著计算开销。
引用
@article{arxiv.1907.06034,
title = {Towards Characterizing and Limiting Information Exposure in DNN Layers},
author = {Fan Mo and Ali Shahin Shamsabadi and Kleomenis Katevas and Andrea Cavallaro and Hamed Haddadi},
journal= {arXiv preprint arXiv:1907.06034},
year = {2019}
}
备注
5 pages, 6 figures, CCS PPML workshop