FedMultimodal：一个多模态联邦学习基准
分布式、并行与集群计算
2023-06-22 v2 机器学习
摘要
过去几年，联邦学习（FL）已成为一种新兴的机器学习技术，通过协作训练应对数据隐私挑战。在联邦学习算法中，客户端提交本地训练的模型，服务器聚合这些参数直至收敛。尽管在计算机视觉、音频和自然语言处理等领域的FL已得到大量研究，但利用多模态数据流的FL应用仍基本未被探索。众所周知，多模态学习在情感识别、医疗、多媒体和社交媒体中具有广泛的现实应用，而用户隐私仍是一个关键问题。具体而言，目前尚无针对多模态应用或相关任务的FL基准。为促进多模态FL的研究，我们推出FedMultimodal，首个覆盖十个常用数据集、总计八种独特模态的五种代表性多模态应用的FL基准。FedMultimodal提供系统化的FL流程，支持从数据划分和特征提取到FL基准算法与模型评估的端到端建模框架。与现有FL基准不同，FedMultimodal提供了标准化方法以评估FL对现实多模态应用中三种常见数据损坏的鲁棒性：缺失模态、缺失标签和错误标签。我们希望FedMultimodal能加速众多未来研究方向，包括面向极端数据异质性的多模态FL算法设计、鲁棒多模态FL以及高效多模态FL。数据集与基准结果可访问：https://github.com/usc-sail/fed-multimodal。
引用
@article{arxiv.2306.09486,
title = {FedMultimodal: A Benchmark For Multimodal Federated Learning},
author = {Tiantian Feng and Digbalay Bose and Tuo Zhang and Rajat Hebbar and Anil Ramakrishna and Rahul Gupta and Mi Zhang and Salman Avestimehr and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:2306.09486},
year = {2023}
}
备注
This paper was accepted to KDD 2023 Applied Data Science (ADS) track