FedNano：面向预训练多模态大语言模型的轻量化联邦调优
机器学习
2025-06-19 v1 人工智能
多媒体
摘要
多模态大语言模型（MLLMs）在多模态推理和跨模态检索等任务中表现出色，但由于分布式多模态数据和严格隐私要求，在实际场景中面临部署挑战。联邦学习（FL）通过在不集中化数据的情况下实现协作模型训练，为 MLLMs 提供了解决方案。然而，实现 FL 的 MLLMs 面临显著挑战，包括高计算需求、客户端容量有限、巨大的通信成本以及客户端数据异构性。现有 FL 方法假设在客户端部署完整模型，这一假设在 MLLM 规模庞大和通信需求高的前提下已难维持。为此，我们提出 FedNano，首个将 LLM 集中于服务器端并引入 NanoEdge 的轻量化框架，用于客户端专属适应。NanoEdge 采用模块化编码器、连接器和低秩适配器（NanoAdapters），实现模块化化存储和通信。该设计无需在客户端部署 LLM，显著降低客户端存储需求95%，并将通信开销限制在模型参数的0.01%。仅传输紧凑的 NanoAdapter 更新，FedNano 能处理异构客户端数据和资源限制，同时保持隐私。实验表明，FedNano 在多个 FL 基线上取得优异性能，桥接了 MLLM 规模与 FL 可行性之间的鸿沟，使可扩展的分布式多模态 AI 系统成为可能。
引用
@article{arxiv.2506.14824,
title = {FedNano: Toward Lightweight Federated Tuning for Pretrained Multimodal Large Language Models},
author = {Yao Zhang and Hewei Gao and Haokun Chen and Weiguo Li and Yunpu Ma and Volker Tresp},
journal= {arXiv preprint arXiv:2506.14824},
year = {2025}
}
备注
12 pages, 3 figures