异构设定下的联邦自监督学习：基于人类活动识别的基线方法局限
机器学习
2022-07-19 v1 人工智能
摘要
联邦学习是一种处理独立设备上分布式模型学习的新机器学习范式。联邦学习的诸多优势之一在于训练数据保留在设备（如智能手机）上，仅有学习到的模型与中心服务器共享。在监督学习情形下，标注工作委托给客户端。然而，对于许多任务（如人类活动识别）而言，获取此类标签可能极其昂贵且易出错。因此，大量数据未被标注且未被利用。现有多数聚焦监督学习的联邦学习方法基本忽视了这批未标注数据。此外，标准联邦学习方法是否适用于自监督学习尚不清楚。少数研究该问题的文献仅局限于同质数据集的有利情形。本文为现实设定下联邦学习与半监督学习结合的参考评估奠定基础。我们表明，标准的轻量自编码器与标准Federated Averaging无法在多个现实异构数据集上学习到用于人类活动识别的鲁棒表示。这些发现倡导在联邦自监督学习方向投入更密集的研究努力，以利用移动设备上存在的海量异构未标注数据。
引用
@article{arxiv.2207.08187,
title = {Federated Self-Supervised Learning in Heterogeneous Settings: Limits of a Baseline Approach on HAR},
author = {Sannara Ek and Romain Rombourg and François Portet and Philippe Lalanda},
journal= {arXiv preprint arXiv:2207.08187},
year = {2022}
}
备注
S. Ek, R. Rombourg, F. Portet and P. Lalanda, "Federated Self-Supervised Learning in Heterogeneous Settings: Limits of a Baseline Approach on HAR," 2022 IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events (PerCom Workshops), 2022, pp. 557-562