FedICT：面向多接入边缘计算的联邦多任务蒸馏
机器学习
2025-02-28 v3
摘要
移动设备对智能服务与隐私保护日益增长的关注，促使联邦学习在多接入边缘计算（MEC）中得到广泛应用。多样的用户行为要求不同设备上具有异构机器学习（ML）模型的个性化服务。联邦多任务学习（FMTL）旨在为不同设备训练相关但个性化的 ML 模型，然而以往工作存在训练期间通信开销过大、且忽视 MEC 中设备间模型异构性的问题。将知识蒸馏引入 FMTL 可同时实现客户端间的高效通信与模型异构，但现有方法依赖公共数据集，现实中并不可行。为应对该困境，本文提出面向多接入边缘计算的联邦多任务蒸馏（FedICT）。FedICT 在客户端与服务器间的双向蒸馏过程中直接隔离局部-全局知识，旨在支持多任务客户端的同时，缓解由客户端局部模型优化方向分歧引发的客户端漂移。具体而言，FedICT 包含联邦先验知识蒸馏（FPKD）与局部知识调整（LKA）。FPKD 通过引入局部数据分布的先验知识，强化客户端对局部数据的拟合；此外，LKA 用于校正服务器的蒸馏损失，使迁移的局部知识更好地匹配泛化表征。在三个数据集上的实验表明，FedICT 在各种数据异构与模型架构设定下显著优于所有对比基准，相较于 FedAvg 以低于 1.2% 的训练通信开销取得更高精度，且训练通信轮数不超过 FedGKT 的 75%。
引用
@article{arxiv.2301.00389,
title = {FedICT: Federated Multi-task Distillation for Multi-access Edge Computing},
author = {Zhiyuan Wu and Sheng Sun and Yuwei Wang and Min Liu and Quyang Pan and Xuefeng Jiang and Bo Gao},
journal= {arXiv preprint arXiv:2301.00389},
year = {2025}
}
备注
Accepted by IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS