系统异构下联邦图像分类的超网络训练
机器学习
2022-10-07 v5 计算机视觉与模式识别
摘要
在存在数据隐私保护问题的情况下，跨许多设备与资源约束高效部署深度神经网络，尤其在边缘设备上，是最具挑战性的问题之一。传统方法已演变为：要么在保持各局部异构训练数据去中心化的同时改进单一全局模型（即数据异构；联邦学习（FL）），要么训练一个支持多样架构设置以处理具备不同计算能力的异构系统（即系统异构；神经架构搜索）。然而，极少有研究同时考虑这两个方向。本文提出超网络训练联邦（FedSup）框架以同时考虑两种场景，即客户端发送并接收包含从其自身采样的所有可能架构的超网络。该方法的灵感来自观察到 FL 中模型聚合时的参数平均类似于超网络训练中的权重共享。因此，提出的 FedSup 框架将广泛用于训练单发模型的权重共享方法与 FL 平均（FedAvg）相结合。此外，我们通过在广播阶段向客户端发送子模型以降低通信成本与训练开销，开发了高效算法（E-FedSup），并包含若干增强 FL 环境下超网络训练的策略。我们通过广泛的实证评估验证了所提方法。所得框架还在多个标准基准上确保了数据与模型异构鲁棒性。
引用
@article{arxiv.2206.01366,
title = {Supernet Training for Federated Image Classification under System Heterogeneity},
author = {Taehyeon Kim and Se-Young Yun},
journal= {arXiv preprint arXiv:2206.01366},
year = {2022}
}
备注
Oral paper on ICML 22 Workshop: "Dynamic Neural Networks"; Under review