利用势能损失保护拆分学习

作为一种实用的隐私保护学习方法，拆分学习已引起学术界与工业界的广泛关注。然而，由于训练与推理过程中会共享中间结果，其安全性一直受到质疑。本文关注拆分学习前向嵌入所带来的隐私泄露问题。具体而言，由于前向嵌入包含过多关于标签的信息，攻击者既可以利用少量带标签样本微调顶层模型，也可执行如聚类之类的无监督攻击从前向嵌入推断真实标签。为防止此类隐私泄露，我们提出势能损失，通过将同类嵌入推向决策边界，使前向嵌入变得更『复杂』。因此，攻击者难以从前向嵌入中学习。实验结果表明，我们的方法显著降低了微调攻击与聚类攻击的性能。