一种面向多任务时间序列分类的高效联邦蒸馏学习系统
机器学习
2022-01-04 v1 人工智能
摘要
本文提出了一种面向多任务时间序列分类（TSC）的高效联邦蒸馏学习系统（EFDLS）。EFDLS 由一个中心服务器和多个移动用户组成，不同用户可能运行不同的 TSC 任务。EFDLS 包含两个新颖组件，即基于特征的学生-教师（FBST）框架和基于距离的权重匹配（DBWM）方案。在每个用户内部，FBST 框架通过知识蒸馏将其教师隐藏层的知识迁移至其学生隐藏层，且教师与学生具有相同的网络结构。对于每个连接的用户，其学生模型隐藏层的权重会周期性地上传至 EFDLS 服务器。DBWM 方案部署在服务器上，使用最小平方距离来衡量两个给定模型权重之间的相似度。该方案为每个连接的用户寻找一个伙伴，使得该用户与其伙伴的权重在所有上传权重中最为接近。服务器交换并将该用户与其伙伴的权重发回给这两个用户，随后它们将接收到的权重加载至各自教师的隐藏层。实验结果表明，所提出的 EFDLS 在选定的一组 UCR2018 数据集上取得了优异的 top-1 准确率。
引用
@article{arxiv.2201.00011,
title = {An Efficient Federated Distillation Learning System for Multi-task Time Series Classification},
author = {Huanlai Xing and Zhiwen Xiao and Rong Qu and Zonghai Zhu and Bowen Zhao},
journal= {arXiv preprint arXiv:2201.00011},
year = {2022}
}
备注
11 pages