基于视觉语言预训练模型指导的联邦学习后门攻击防御方法
机器学习
2025-10-14 v2 人工智能
摘要
在非IID客户端数据分布下，防御联邦学习中的后门攻击面临有效性和隐私保护之间的局限，而大多数现有方法高度依赖假设客户端数据分布均匀或存在干净的服务器数据集。为此，我们提出了 CLIP-Fed 框架，利用视觉语言预训练模型的零样本学习能力。我们的方案通过集成预聚合和后聚合防御策略，克服了非IID对防御效果的限制。CLIP-Fed 使用对抗性原型损失和 KL 散度将全局模型与 CLIP 在增强数据集上的知识对齐，从而确保由后门样本引起的类原型偏差被消除，并消除触发器模式与目标标签之间的关联。为在保持隐私保护的同时增强对多样化触发器的数据集覆盖率，我们进一步通过使用多模态大语言模型和频率分析构建和增强服务器数据集，而无需任何客户端样本。大量实验在代表性数据集上证明了 CLIP-Fed 的有效性。与其他现有方法相比，CLIP-Fed 在 CIFAR-10 上的攻击成功率降低平均 2.03%，在 CIFAR-10-LT 上降低 1.35%，分别将平均主任务准确率提高 7.92% 和 0.48%。我们的代码已公开于 https://anonymous.4open.science/r/CLIP-Fed。
引用
@article{arxiv.2508.10315,
title = {A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning},
author = {Keke Gai and Dongjue Wang and Jing Yu and Liehuang Zhu and Qi Wu},
journal= {arXiv preprint arXiv:2508.10315},
year = {2025}
}