利用变分嵌入重演应对联邦增量学习中的动态性
机器学习
2021-10-20 v1
摘要
联邦学习是机器学习中一个快速发展的领域，其中训练数据集极度分散，且随时间动态变化。模型需在客户端设备上训练，而无法保证本地私有数据的同质性或平稳性。由于任务内数据不断产生，对持续训练的需求也随之上升。然而，同时追求这两个方向具有挑战性，因为客户端数据隐私是主要约束，尤其对重演（rehearsal）方法而言。在此，我们提出一种新算法，基于客户端可动态加入或退出的现实场景，解决联邦学习场景中的增量学习过程。我们首先提出使用深度变分嵌入（Variational Embeddings）来保障客户端数据隐私。其次，我们提出一种服务端训练方法，使模型能够重演先前学到的知识。最后，我们研究了动态客户端加入场景下联邦增量学习的性能。所提方法在领域增量学习上达到与离线训练相当的水平，解决了客户端动态加入与客户端数据领域偏移两方面的挑战。
引用
@article{arxiv.2110.09695,
title = {Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal},
author = {Tae Jin Park and Kenichi Kumatani and Dimitrios Dimitriadis},
journal= {arXiv preprint arXiv:2110.09695},
year = {2021}
}