3FM: 面向联邦任务的多模态元学习
机器学习
2023-12-19 v1
摘要
我们在联邦学习领域提出了一种新方法，特别关注解决模态异质性、客户端间模态可用性的变异性以及普遍存在的数据缺失问题。我们引入了一个专门为多模态联邦任务设计的元学习框架。我们的方法源于使联邦模型在暴露于新模态时能够稳健适应的需求，这是联邦学习中常见的场景，其中客户端在可用模态数量上往往不同。通过在增强的MNIST数据集（包含音频和手语数据）上进行广泛实验，证明了我们提出框架的有效性。我们证明，通过仔细调整元学习率，所提出的算法在部分缺失模态场景下比基线取得了更好的性能。这是一份简短的报告，我们的工作将很快扩展和更新。
引用
@article{arxiv.2312.10179,
title = {3FM: Multi-modal Meta-learning for Federated Tasks},
author = {Minh Tran and Roochi Shah and Zejun Gong},
journal= {arXiv preprint arXiv:2312.10179},
year = {2023}
}