训练虚假标签：通过安全维度转换缓解分段学习中的标签泄露
机器学习
2024-10-15 v1 人工智能
密码学与安全
摘要
两方分段学习已成为垂直联邦学习中流行的范例。为保留标签所有者的隐私，分段学习利用分段模型，仅需在学习过程中根据输入和每个中间表示（IR）的梯度之间交换中间表示（IRs）。然而，分段学习最近被证明能抵御标签推理攻击。虽然可以采纳几种防御方法，但它们要么防御性能有限，要么显著负面影响原始任务。本文提出一种新型两方分段学习方法，以防御现有标签推理攻击，同时保持所学模型的高实用性。具体而言，我们首先构建了一个维度转换模块SecDT，可实现原始标签和增加K类标签之间的双向映射，从而从方向性角度缓解标签泄露。然后，设计了一个梯度归一化算法，以消除不同类别梯度的幅度差异。我们提出一种softmax归一化高斯噪声，以缓解隐私泄露并使我们的K对对手而言不可知。我们在真实数据集上进行了实验，包括两个二分类数据集（Avazu和Criteo）和三个多分类数据集（MNIST、FashionMNIST和CIFAR-10）；我们还考虑了当前攻击方案，包括方向、范数、谱和模型完成攻击。详细实验表明，我们提出的方法在有效性和优越性方面优于现有方法。例如，在Avazu数据集上，评估的四个突出攻击的攻击AUC可降低0.4532+-0.0127。
引用
@article{arxiv.2410.09125,
title = {Training on Fake Labels: Mitigating Label Leakage in Split Learning via Secure Dimension Transformation},
author = {Yukun Jiang and Peiran Wang and Chengguo Lin and Ziyue Huang and Yong Cheng},
journal= {arXiv preprint arXiv:2410.09125},
year = {2024}
}