重访免训练 NAS 度量:一种高效的基于训练的方法
计算机视觉与模式识别
2022-11-17 v1
摘要
近期的神经架构搜索(NAS)工作提出了免训练度量来对网络排序,大幅降低了 NAS 中的搜索代价。本文中,我们重访这些免训练度量并发现:(1) 参数量(\#Param)这一最直观的免训练度量在先前工作中被忽视,却出奇地有效;(2) 近期免训练度量很大程度上依赖 \#Param 信息来排序网络。我们的实验表明,当 \#Param 信息不可用时,近期免训练度量的性能急剧下降。受这些观察启发,我们认为与 \#Param 相关性较弱的度量有望为 NAS 提供额外信息。我们提出了一种轻量级基于训练的度量,其与 \#Param 相关性弱,同时在更低搜索代价下取得优于免训练度量的性能。具体而言,在 DARTS 搜索空间上,我们的方法仅在 2.6 GPU 小时内直接在 ImageNet 上完成搜索,并取得 24.1\%/7.1\% 的 top-1/top-5 错误率,这在最先进 NAS 方法中具有竞争力。代码见 \url{https://github.com/taoyang1122/Revisit_TrainingFree_NAS}
引用
@article{arxiv.2211.08666,
title = {Revisiting Training-free NAS Metrics: An Efficient Training-based Method},
author = {Taojiannan Yang and Linjie Yang and Xiaojie Jin and Chen Chen},
journal= {arXiv preprint arXiv:2211.08666},
year = {2022}
}
备注
Accepted to WACV2023