FedET：基于增强型 Transformer 的通信高效联邦类增量学习框架
机器学习
2023-06-28 v1 人工智能
摘要
联邦学习（FL）因能在保障数据隐私的同时实现去中心化学习而受到广泛关注。然而，大多数现有方法不切实际地假设本地客户端随时间遇到的类别是固定的。在学习新类后，该假设会使模型对旧类的灾难性遗忘显著加剧。此外，受通信成本限制，在 FL 中使用大规模模型颇具挑战，这将影响预测精度。为应对这些挑战，我们提出一种新框架——联邦增强型 Transformer（FedET），其同时实现高精度与低通信成本。具体而言，FedET 使用微小模块 Enhancer 吸收并通信新知识，并应用预训练 Transformer 与不同 Enhancer 组合以保障各类任务上的高精度。针对新任务新类导致的本地遗忘以及跨不同本地客户端非 i.i.d（非独立同分布）类别不平衡带来的全局遗忘，我们提出 Enhancer 蒸馏方法以修正新旧知识间的不平衡并修复非 i.i.d. 问题。实验结果表明，FedET 在代表性基准数据集上的平均精度比最先进（SOTA）方法高 14.1%，同时相比先前方法节省了 90% 的通信成本。
引用
@article{arxiv.2306.15347,
title = {FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer},
author = {Chenghao Liu and Xiaoyang Qu and Jianzong Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2306.15347},
year = {2023}
}
备注
Accepted by 2023 International Joint Conference on Artificial Intelligence (IJCAI2023)