通过线性系统与梯度匹配分析梯度中的训练数据泄露
机器学习
2022-10-25 v1
摘要
近期工作表明，当图像分类模型的架构已知时，有可能从其梯度重建训练图像及其标签。遗憾的是，对于这些梯度泄露攻击的有效性与失败原因，目前仍缺乏完整的理论理解。在本文中，我们提出一个新颖框架来分析梯度中的训练数据泄露，该框架从基于解析与基于优化的梯度泄露攻击中汲取见解。我们将重建问题表述为从每一层迭代求解线性系统，并辅以利用梯度匹配的修正。在此框架下，我们断言重建问题的可解性主要由每一层线性系统的可解性决定。因此，我们能够将深度网络中训练数据的泄露部分归因于其架构。我们还提出一种度量标准，用以衡量深度学习模型抵御针对训练数据的基于梯度攻击的安全水平。
引用
@article{arxiv.2210.13231,
title = {Analysing Training-Data Leakage from Gradients through Linear Systems and Gradient Matching},
author = {Cangxiong Chen and Neill D. F. Campbell},
journal= {arXiv preprint arXiv:2210.13231},
year = {2022}
}
备注
To appear at the 33rd British Machine Vision Conference 2022