基于语义路由和适配器个性化的缺失模态联邦跨模态检索
计算机视觉与模式识别
2026-04-28 v1 人工智能
摘要
联邦跨模态检索面临着来自异构客户端数据的严峻挑战，尤其是非独立同分布的语义分布和缺失模态。在这种异构性下，单一的全局模型往往不足以捕获both共享的跨模态知识和客户端特定的特征。我们提出了RCSR（Retrieval-Centric Semantic Routing），一个面向个性化的联邦框架，集成了原型锚定、检索导向的语义路由和可选的客户端特定适配器。基于冻结的CLIP骨干网络构建的RCSR利用轻量级共享适配器实现全局知识 transfer，同时支持高效的本地个性化。原型锚定有助于单模态客户端与全局跨模态语义对齐，服务器端的语义路由器根据检索一致性自适应分配聚合权重，以缓解异构更新期间的对齐漂移。大量实验在MS-COCO、Flickr30K等基准数据集上表明，RCSR在提高全局检索准确率和训练稳定性方面始终具有优势，并且进一步提升了客户端级别的检索性能，尤其是针对模态不完整的客户端。代码已公开于https://github.com/RezinChow/RCSR-Retrieval-Centric-Semantic-Routing。
引用
@article{arxiv.2604.22885,
title = {Federated Cross-Modal Retrieval with Missing Modalities via Semantic Routing and Adapter Personalization},
author = {Hefeng Zhou and Xuan Liu and Sicheng Chen and Wutong Zhang and Wu Yan and Jiong Lou and Chentao Wu and Guangtao Xue and Wei Zhao and Jie Li},
journal= {arXiv preprint arXiv:2604.22885},
year = {2026}
}