Geminio：联邦学习中基于语言引导的梯度反转攻击

桥接视觉与语言的基础模型取得了显著进展。尽管这些模型已激发许多生活便利应用，但其在制造新威胁方面的潜力仍鲜有被探讨。本文揭示了视觉-语言模型（VLM）可被武器化，以增强联邦学习（FL）中的梯度反转攻击（gradient inversion attacks, GIAs）。在联邦学习中，服务器尝试从共享给服务器的受害客户端的梯度中重建私有数据样本。尽管近期进展令人期待，但现有 GIAs 在受害者拥有大批量本地数据时，难以重建高分辨率图像。一个可行方向是聚焦于有价值的样本而非整个批量，但当前方法缺乏针对特定感兴趣数据的灵活性。为此，我们提出了 Geminio，即将 GIAs 转化为语义上有意义的、具目标导向性的攻击方法。它实现了全新的隐私攻击体验：攻击者可通过自然语言描述其认为有价值的数据，Geminio 将优先重建这些高价值样本。这通过利用预训练 VLM 指导恶意全局模型的优化实现，该模型在被受害者共享和优化后，仅保留与攻击者指定查询相匹配的样本的梯度。Geminio 可在任意联邦轮次启动，且对正常训练无影响（即联邦服务器仍可像在良性场景中一样获取高效能的机器学习模型）。大量实验表明，其在复杂数据集和大批量大小下均能高成功率地定位并重建目标样本，并对抗抗性防御措施。