BadPromptFL：针对多模态模型中基于提示的联邦学习的一种新型后门威胁
机器学习
2025-09-09 v3 人工智能
摘要
基于提示的微调已成为大型视觉语言模型中全面微调的一种轻量级替代方案，能够通过学习到的上下文提示实现高效适应。这种范式最近被扩展到联邦学习设置（例如 PromptFL），其中客户端在数据隐私约束下协作训练提示。然而，联邦多模态学习中基于提示的聚合的安全性影响在很大程度上仍未得到探索，留下了一个关键的攻击面未被解决。在本文中，我们提出了 \textbf{BadPromptFL}，这是首个针对多模态对比模型中基于提示的联邦学习的后门攻击。在 BadPromptFL 中，被攻陷的客户端联合优化本地后门触发器和提示嵌入，将中毒提示注入到全局聚合过程中。这些提示随后传播到良性客户端，从而在不修改模型参数的情况下实现推理时的通用后门激活。利用 CLIP 风格架构的上下文学习行为，BadPromptFL 在极低的可见性和有限的客户端参与下实现了高攻击成功率（例如，）。跨多个数据集和聚合协议的广泛实验验证了我们攻击的有效性、隐蔽性和泛化性，引发了人们对基于提示的联邦学习在实际部署中鲁棒性的严重关切。
引用
@article{arxiv.2508.08040,
title = {BadPromptFL: A Novel Backdoor Threat to Prompt-based Federated Learning in Multimodal Models},
author = {Maozhen Zhang and Mengnan Zhao and Wei Wang and Bo Wang},
journal= {arXiv preprint arXiv:2508.08040},
year = {2025}
}