基于对比表示集成的多模态联邦学习

随着现代移动系统与物联网基础设施上多媒体数据的不断增长，在不侵犯用户隐私的前提下利用这些丰富的多模态数据成为一个关键问题。联邦学习（FL）作为集中式机器学习的隐私保护替代方案应运而生。然而，现有拓展至多模态数据的 FL 方法均依赖于单模态层面的模型聚合，这限制了服务器与各客户端对每个模态拥有相同的模型架构。这在模型复杂度、数据容量乃至任务多样性方面都制约了全局模型。本文提出面向多模态 FL 的对比表示集成与聚合方法（CreamFL），这一多模态联邦学习框架能够在仅通信公共数据集知识的前提下，从具有异构模型架构与数据模态的客户端训练出更大的服务器模型。为实现更好的多模态表示融合，我们设计了一种全局-局部跨模态集成策略来聚合客户端表示。为缓解由多模态差异（模态鸿沟与任务鸿沟）带来的两个前所未有的异构因素所引起的局部模型漂移，我们进一步提出模态间与模态内两种对比来正则化局部训练，从而为单模态客户端补充缺失模态的信息，并正则化局部客户端朝向全局共识。在图文检索与视觉问答任务上的充分评估与消融研究展示了 CreamFL 相对于最先进 FL 方法的优越性及其实用价值。