DONNAv2——面向视觉任务的轻量级神经架构搜索
计算机视觉与模式识别
2023-09-27 v1 机器学习
摘要
随着视觉应用需求的增长以及跨边缘设备的部署,开发在设备部署时保持性能且对硬件友好的架构变得至关重要。神经架构搜索(NAS)技术探索多种方法,以计算高效的方式为多样化学习任务发现高效架构。在本文中,我们提出用于计算高效神经架构蒸馏的下一代神经架构设计——DONNAv2。常规NAS算法依赖于计算密集的阶段,即学习一个精度预测器以估计搜索空间内模型的性能。这种精度预测器的构建有助于预测未经微调的模型性能。在此,我们开发了一种优雅的方法以消除精度预测器的构建,并将DONNA扩展至计算高效的设定。构成网络的各独立模块的损失度量,在NAS搜索阶段充当采样模型的替代性能指标。为验证DONNAv2的性能,我们开展了涉及一系列多样视觉任务的广泛实验,包括分类、目标检测、图像去噪、超分辨率以及全景感知网络(YOLOP)。硬件在环实验使用三星Galaxy S10移动平台进行。值得注意的是,DONNAv2将DONNA在较大数据集上的计算成本降低了10倍。此外,为提升NAS搜索空间的质量,DONNAv2利用块知识蒸馏过滤器以移除具有高推理成本的模块。
引用
@article{arxiv.2309.14670,
title = {DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks},
author = {Sweta Priyadarshi and Tianyu Jiang and Hsin-Pai Cheng and Sendil Krishna and Viswanath Ganapathy and Chirag Patel},
journal= {arXiv preprint arXiv:2309.14670},
year = {2023}
}
备注
Accepted at ICCV-Workshop on Resource-Efficient Deep Learning, 2023