双边依赖优化:防御模型反演攻击
机器学习
2022-07-19 v3
摘要
仅利用一个训练良好的分类器,模型反演(MI)攻击便能恢复用于训练该分类器的数据,导致训练数据的隐私泄露。为防御MI攻击,已有工作采用单边依赖优化策略,即在训练分类器时最小化输入(即特征)与输出(即标签)间的依赖。然而,此类最小化过程与旨在最大化输入输出依赖的监督损失最小化相冲突,造成模型针对MI攻击的鲁棒性与分类任务上模型效用之间的显式权衡。本文中,我们旨在最小化潜表示与输入间的依赖,同时最大化潜表示与输出间的依赖,称为双边依赖优化(BiDO)策略。特别地,我们将依赖约束作为深度神经网络(如交叉熵)常用损失之外的普适正则化项,并可依据不同任务以适当的依赖准则实例化。为验证策略效力,我们提出BiDO的两种实现,采用两种不同的依赖度量:BiDO with constrained covariance(BiDO-COCO)与BiDO with Hilbert-Schmidt Independence Criterion(BiDO-HSIC)。实验表明,BiDO在多种数据集、分类器与MI攻击上取得了最先进的防御性能,且相较无防御的训练良好分类器仅有微小的分类准确率下降,这为防御MI攻击点亮了新路径。
引用
@article{arxiv.2206.05483,
title = {Bilateral Dependency Optimization: Defending Against Model-inversion Attacks},
author = {Xiong Peng and Feng Liu and Jingfen Zhang and Long Lan and Junjie Ye and Tongliang Liu and Bo Han},
journal= {arXiv preprint arXiv:2206.05483},
year = {2022}
}
备注
Accepted to KDD 2022 (Research Track)