FediLoRA：缺失模态约束下基础模型的实用联邦微调
机器学习
2026-05-19 v3 人工智能
摘要
结合 LoRA 微调的联邦学习为机构协作利用其大型数据集训练 VLLM 提供了一种高效且注重隐私的解决方案。然而，参与机构通常拥有异构的计算资源，导致 LoRA 秩不平衡，这对有效协作构成了主要挑战。此外，医疗和交通等领域的实际应用常因用户失误或设备故障而面临模态缺失问题，这会显著降低联邦设置中全局模型的性能。据我们所知，此前尚无工作在联邦 VLLM 中同时解决这两个挑战。为了解决这些问题，我们提出了 FediLoRA，一个轻量级的联邦 LoRA 聚合框架，能够有效缓解异构环境中模态缺失的影响。FediLoRA 的明确动机是观察到简单平均和结构化编辑可以共同使全局模型和个性化模型受益。我们的方法在多个通用领域和医疗领域基准数据集上取得了强劲的性能。在医疗数据上的进一步实验表明，FediLoRA 非常适合实际的真实部署场景。代码发布于 https://github.com/gotobcn8/FediLoRA。
引用
@article{arxiv.2509.06984,
title = {FediLoRA: Practical Federated Fine-Tuning of Foundation Models Under Missing-Modality Constraints},
author = {Lishan Yang and Wei Emma Zhang and Nam Kha Nguygen and Po Hu and Yanjun Shu and Weitong Chen and Mong Yuan Sim},
journal= {arXiv preprint arXiv:2509.06984},
year = {2026}
}
备注
8 pages, 7 figures