面向一轮联合学习的全局提示精炼与非干扰注意力掩码
计算机视觉与模式识别
2025-10-22 v2
摘要
联合提示学习（FPL）通过在冻结的预训练模型上调整轻量级提示实现通信效率适应。现有的 FPL 方法通常依赖于第二训练轮之后才可用的全局信息，以促进客户模型之间的协作。因此，它们本质上依赖于多轮通信才能充分发挥优势。此外，现有的单轮联合学习方法通常侧重于拟合已见任务，但缺乏跨任务的泛化。为填补这一差距，我们提出了一种名为全局提示精炼与非干扰注意力掩码（GPR-NIAM）的方法，用于单轮 FPL。核心思想是设计一种掩码机制，以限制原始文本嵌入与可学习提示嵌入之间的过度交互。GPR-NIAM 通过两个关键模块的协同实现：首先，注意力隔离模块抑制可学习提示标记对原始文本标记的注意力，并重新加权反向注意力以保留跨任务的泛化；其次，跨车间协作精炼模块将分散的视觉知识整合到统一基座，并通过多源跨模态知识对齐校准全局提示，进一步减轻由数据异构性引起的不一致性。在十个基准数据集上的大量实验表明，GPR-NIAM 在类别级和领域级泛化方面均优于八个最先进的方法。
引用
@article{arxiv.2509.22700,
title = {Global Prompt Refinement with Non-Interfering Attention Masking for One-Shot Federated Learning},
author = {Zhuang Qi and Pan Yu and Lei Meng and Sijin Zhou and Han Yu and Xiaoxiao Li and Xiangxu Meng},
journal= {arXiv preprint arXiv:2509.22700},
year = {2025}
}
备注
NeurIPS'25 accepted