DeepFedNAS：通过 Pareto 引导的超网训练实现异构 IoT 联邦的高效硬件感知架构自适应
机器学习
2026-05-11 v3 计算机视觉与模式识别
分布式、并行与集群计算
摘要
在异构 IoT 设备集群中部署联邦学习需要为每种设备类别定制神经网络架构，然而现有的联邦神经架构搜索（FedNAS）方法存在超网训练缺乏引导以及训练后搜索流程成本过高的问题，每个部署目标需要超过 20 个 GPU 小时。我们引入了 DeepFedNAS，这是一个基于多目标适应度函数的两阶段框架，该函数将信息论网络度量与架构启发式方法相结合。在第一阶段，联邦 Pareto 最优超网训练用预先计算的高适应度精英架构缓存替代了随机子网采样，从而生成更优的超网。在第二阶段，无预测器搜索使用该适应度函数作为零成本准确率代理，在约 20 秒内发现硬件优化的子网，比基线流程实现了约 61 倍的加速。在 CIFAR-10、CIFAR-100 和 CINIC-10 上的实验表明，该方法达到了最先进的准确率（在 CIFAR-100 上提升高达 +1.21%），每轮传输大小减少了 2.8 倍，并且在极端非独立同分布（non-IID）条件（{\alpha} = 0.1）下具有稳健的性能，这使得 DeepFedNAS 对于可扩展且通信受限的 IoT 联邦具有实用性。源代码：https://github.com/bostankhan6/DeepFedNAS
引用
@article{arxiv.2601.15127,
title = {DeepFedNAS: Efficient Hardware-Aware Architecture Adaptation for Heterogeneous IoT Federations via Pareto-Guided Supernet Training},
author = {Bostan Khan and Masoud Daneshtalab},
journal= {arXiv preprint arXiv:2601.15127},
year = {2026}
}
备注
This paper significantly extends the preliminary work presented at ESANN 2026. Source Code: https://github.com/bostankhan6/DeepFedNAS