面向联邦域泛化的 Token 级提示混合与无参数路由
机器学习
2025-05-01 v1 人工智能
摘要
联邦域泛化（FedDG）旨在保护隐私的前提下，从分散客户端上学习出全局可泛化模型。近期研究引入提示学习以适配视觉-语言模型（VLM）于 FedDG 中，通过学习单个全局提示实现适配。然而，这种单提示全能的学习范式通常导致对个性化样本性能下降。虽然专家混合（MoE）提供了解 specialization 的可行方案，但现有 MoE 方法受限于粗糙的图像级专家分配和基于参数路由器的高通信成本。为此，我们提出 TRIP：一种面向 FedDG 的 Token 级提示混合与无参数路由框架，將多個提示视為不同专家。不同于现有图像级路由设计，TRIP 在图像内部为不同 token 分配特定专家。为保证通信效率，TRIP 采用基于 token 聚类与最优传输的无参数路由机制。最终通过聚合专家（按各专家被分配的 token 数加权）合成实例特定提示。此外，TRIP 开发了针对提示专家的无偏学习策略，借助 VLM 的零样子泛化能力。广泛实验表明，TRIP 在四个基准上实现最优泛化效果，仅需每轮 1K 参数即可完成通信。我们的代码已公开于 https://github.com/GongShuai8210/TRIP。
引用
@article{arxiv.2504.21063,
title = {Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization},
author = {Shuai Gong and Chaoran Cui and Xiaolin Dong and Xiushan Nie and Lei Zhu and Xiaojun Chang},
journal= {arXiv preprint arXiv:2504.21063},
year = {2025}
}
备注
The manuscript has been submitted to IEEE Transactions on Knowledge and Data Engineering