面向私有AIoT设备上的定制模型：联邦直接神经架构搜索
机器学习
2022-02-24 v1 分布式、并行与集群计算
信号处理
摘要
神经网络在边缘设备上部署时常面临各种严苛的资源约束。为以更少人力应对这些问题，自动化机器学习在寻找适配多样人工智能物联网（AIoT）场景的各类神经架构方面日益流行。近来，为防止隐私泄露同时实现自动化机器智能，将联邦学习与神经架构搜索（NAS）相融合成为新兴趋势。尽管看似前景广阔，但二者固有难点的耦合使算法开发极具挑战。尤其是，如何以联邦方式从AIoT设备间海量非独立同分布（non-IID）数据中直接搜索最优神经架构，是一大难题。本文中，为应对该挑战，借助ProxylessNAS的进展，我们提出联邦直接神经架构搜索（FDNAS）框架，支持跨设备基于non-IID数据进行硬件友好的NAS。为进一步适配各类数据分布及具有异构嵌入式硬件平台的不同类型设备，受元学习启发，提出聚类联邦直接神经架构搜索（CFDNAS）框架以实现设备感知的NAS，即每个设备可针对其特定数据分布与硬件约束学习定制深度学习模型。在non-IID数据集上的大量实验表明，所提方案在数据异质与设备异质并存下实现了SOTA的精度-效率权衡。
引用
@article{arxiv.2202.11490,
title = {Towards Tailored Models on Private AIoT Devices: Federated Direct Neural Architecture Search},
author = {Chunhui Zhang and Xiaoming Yuan and Qianyun Zhang and Guangxu Zhu and Lei Cheng and Ning Zhang},
journal= {arXiv preprint arXiv:2202.11490},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2011.03372