PID 引导的部分对齐用于多模态去中心化联邦学习
机器学习
2026-05-26 v2
摘要
多模态去中心化联邦学习（DFL）必须支持持有不同模态子集且通常具有不同模型组件的智能体之间的协作，同时在对等（P2P）覆盖网络上运行，无需协调服务器或全局网络视图。一个关键障碍是，传统的多模态训练通常依赖于单一的共享表示，这隐含地假设异构节点可以通过相同的通信链路交换和聚合相同的模型组件。在多模态 DFL 中，这一假设不再成立：单模态和多模态智能体可能通过共享覆盖网络推送不兼容的更新，从而削弱智能体间迁移和跨模态交互。我们提出了 PARSE，一个将部分信息分解（PID）引入多模态 DFL 的无服务器框架。每个智能体将其潜在特征分解为冗余、独特和协同切片（“特征裂变”），并在以模态为条件的 P2P 覆盖网络上执行切片感知通信。在训练过程中，智能体仅根据它们共享的模态和模型组件，与邻居交换语义上可对齐的切片（“部分对齐”）。这种设计避免了集中式编排和梯度手术式的冲突处理，同时保持与标准 DFL 约束和各种 P2P 覆盖拓扑的兼容性。在多个基准测试和异构节点混合场景中，PARSE 始终优于基于任务、模态和混合共享的多模态 DFL 基线，同时保持每条链路的有效载荷有界。关于融合选择和分割比例的消融研究，以及定性的特征分析和覆盖拓扑研究，证明了所提出的片感知设计的鲁棒性和通信效率。
引用
@article{arxiv.2601.10012,
title = {PID-Guided Partial Alignment for Multimodal Decentralized Federated Learning},
author = {Yanhang Shi and Xiaoyu Wang and Houwei Cao and Jian Li and Yong Liu},
journal= {arXiv preprint arXiv:2601.10012},
year = {2026}
}