面向IoT数据的多模态联邦学习
机器学习
2022-02-21 v2
摘要
联邦学习被提出作为集中式机器学习的替代方案，因为其客户端-服务器结构在实际应用中提供了更好的隐私保护和可扩展性。在许多应用中，例如配备物联网（IoT）设备的智能家居，客户端上的本地数据是由感官、视觉和音频数据等不同模态生成的。现有的联邦学习系统仅适用于来自单一模态的本地数据，这限制了系统的可扩展性。在本文中，我们提出了一个多模态半监督联邦学习框架，该框架训练自编码器以从客户端上不同的本地数据模态中提取共享或相关表示。此外，我们提出了一种多模态 FedAvg 算法，用于聚合在不同数据模态上训练的本地自编码器。我们利用学习到的全局自编码器，在服务器上辅助标注数据的帮助下进行下游分类任务。我们在包括感官数据、深度相机视频和 RGB 相机视频在内的不同模态上对我们的框架进行了实证评估。实验结果表明，将多模态数据引入联邦学习可以提高其分类性能。此外，我们可以仅使用来自单一模态的标注数据在服务器上进行监督学习，并将学习到的模型应用于来自其他模态的测试数据，以获得不错的 F1 分数（例如，最佳性能高于 60%），尤其是在结合单模态客户端和多模态客户端的贡献时。
引用
@article{arxiv.2109.04833,
title = {Multimodal Federated Learning on IoT Data},
author = {Yuchen Zhao and Payam Barnaghi and Hamed Haddadi},
journal= {arXiv preprint arXiv:2109.04833},
year = {2022}
}
备注
12 pages, IoTDI '22, May 3-6, 2022, Milan, Italy