具有异质性缓解与方差缩减的联邦期望最大化
最优化与控制
2021-11-11 v2 人工智能
机器学习
摘要
期望最大化（EM）算法是潜变量模型推断的默认算法。与机器学习的任何其他领域一样，将潜变量模型应用于超大规模数据集使得使用先进的并行和分布式架构成为必需。本文引入了 FedEM，这是 EM 算法在联邦学习环境下的首个扩展。FedEM 是一种新的通信高效方法，能够处理本地设备的部分参与，并且对数据集的异构分布具有鲁棒性。为了缓解通信瓶颈，FedEM 对适当定义的完整数据充分统计量进行压缩。我们还开发并分析了 FedEM 的一个扩展，以进一步纳入方差缩减方案。在所有情况下，我们都为光滑非凸问题推导了有限时间复杂度界。数值结果以及一项面向生物多样性监测的联邦缺失值填补应用，支持了我们的理论发现。
引用
@article{arxiv.2111.02083,
title = {Federated Expectation Maximization with heterogeneity mitigation and variance reduction},
author = {Aymeric Dieuleveut and Gersende Fort and Eric Moulines and Geneviève Robin},
journal= {arXiv preprint arXiv:2111.02083},
year = {2021}
}