纵向联邦学习中的标签泄露与来自前向嵌入的保护

纵向联邦学习（vFL）近年来受到广泛关注，并被部署用于解决具有数据隐私关切的机器学习问题。然而，一些近期工作表明，即使参与方之间仅通信前向中间嵌入（而非原始特征）和反向传播的梯度（而非原始标签），vFL 仍易受隐私泄露攻击。由于原始标签通常包含高度敏感信息，近期一些工作提出在 vFL 中有效防止来自反向传播梯度的标签泄露。然而，这些工作仅识别并防御了来自反向传播梯度的标签泄露威胁，均未关注来自中间嵌入的标签泄露问题。在本文中，我们提出了一种实用的标签推断方法，即使应用了现有的一些保护方法（如标签差分隐私和梯度扰动），也能从共享的中间嵌入中有效窃取私有标签。标签攻击的有效性离不开中间嵌入与对应私有标签之间的相关性。为缓解来自前向嵌入的标签泄露问题，我们在标签方增加了一个优化目标，通过最小化中间嵌入与对应私有标签之间的距离相关性来限制攻击者的标签窃取能力。我们进行了大量实验以证明所提保护方法的有效性。