通过跨模态渗透实现平衡的多模态联邦学习

联邦学习（FL）通过在不暴露客户端原始数据的情况下协同训练神经网络，支撑了隐私保护分布式计算的进步。当前的 FL 范式主要关注单模态数据，而利用分布式多模态数据中的知识仍有待深入探索。现有的多模态联邦学习（MFL）解决方案主要针对输入端的统计或模态异构性设计，然而尚未解决分布式条件下的根本问题——“模态不平衡”，这可能导致不同模态上的信息利用不足和知识聚合异构。在本文中，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，通过从全局主导模态进行知识转移，有效缓解了模态不平衡和知识异构性。为避免因单纯模仿主导模态行为而导致弱模态信息丢失，我们设计了双投影模块，以在整合主导模态知识的同时，促进弱模态的局部特征挖掘。此外，我们引入了一种类别级温度自适应方案，以实现不同类别间的公平性能。在流行数据集上进行的大量实验令人满意地证实了该框架在 MFL 中充分挖掘各模态信息的有效性。