联邦学习中的知识编辑：视角、挑战与未来方向
机器学习
2023-06-05 v1 人工智能
分布式、并行与集群计算
摘要
随着联邦学习（FL）受到越来越多的关注，人们广泛认识到，在一系列任务上学习时直接在整个框架上应用随机梯度下降（SGD）会导致所谓的“灾难性遗忘”现象。因此，大量FL研究集中于设计联邦增量学习方法，以缓解遗忘并扩充知识。另一方面，遗忘并非总有害。选择性遗忘，亦称联邦遗忘（federated unlearning），即删除特定知识，可解决隐私问题并为获取新知识创造额外“空间”。然而，缺乏涵盖近期进展并对此问题详尽考察的广泛综述。本稿中，我们呈现关于联邦学习中知识编辑（扩充/删除）的广泛综述，旨在总结最先进研究并拓展多领域视角。首先，我们通过重新评估FL的完整生命周期，引入一种称为联邦可编辑学习（FEL）的整合范式。其次，我们全面概述现有方法，评估其在所提范式中的位置，并强调当前面临的挑战。最后，我们探索未来研究的潜在途径并指明未决问题。
引用
@article{arxiv.2306.01431,
title = {On Knowledge Editing in Federated Learning: Perspectives, Challenges, and Future Directions},
author = {Leijie Wu and Song Guo and Junxiao Wang and Zicong Hong and Jie Zhang and Jingren Zhou},
journal= {arXiv preprint arXiv:2306.01431},
year = {2023}
}
备注
7 pages, 1 figure, 2 tabels