多任务学习中共享表征的黑盒隐私攻击

多任务学习 (MTL) 已成为一种强大的范式，利用多个学习任务之间的相似性（每个任务的样本数不足以单独训练模型），以最小化数据在用户和组织之间共享的方式同时解决这些问题。MTL通常通过学习捕获多个任务之间共同结构的共享表征来实现此目标，将来自所有任务的数据嵌入到常见的特征空间中。尽管设计为在有效学习多个任务模式所必需的最小共享信息单元，但这些共享表征可能意外地泄露关于其训练时的特定任务的敏感信息。本文通过推理攻击的视角，研究共享表征透露了哪些信息。为此，我们提出了一种新颖的黑盒任务推理威胁模型，其中鉴别者在对来自特定任务的样本查询共享表征所产生的嵌入向量时，旨在确定该任务是否在训练共享表征时被包含。我们开发了高效的纯黑盒攻击，利用来自同一任务的嵌入之间的依赖关系，而无需阴影模型或标记参考数据。我们在视觉和语言领域对多种MTL用例进行评估，表明即使仅访问来自目标任务分布的新样本，黑盒攻击者也能成功推断出该任务是否被包含在训练中。为补充我们的实验，我们提供了简化学习环境的理论分析，显示拥有训练样本的攻击者与从目标任务分布获取新样本的攻击者之间存在严格的分离。