熵分数度量:在免训练 NAS 中解耦拓扑与规模
计算机视觉与模式识别
2023-10-09 v1 机器学习
摘要
神经网络设计是一项复杂且常令人望而生畏的任务,尤其在移动端规模模型典型的资源受限场景中。神经架构搜索(NAS)是实现该过程自动化的有前景方法,但现有竞争方法需大量训练时间与计算资源以生成精确模型。为克服这些限制,本文贡献如下:i) 一种名为熵分数(Entropic Score)的新型免训练度量,通过其激活的聚合逐元素熵估计模型表达能力;ii) 一种循环搜索算法,以分离而协同的方式搜索模型规模与拓扑。熵分数在搜索网络拓扑方面表现出显著能力,且与 LogSynflow 适当结合以搜索模型规模,展现出优越能力,可在少于 1 GPU 小时内完全设计出用于边缘应用的高性能混合 Transformer,从而成为 ImageNet 分类最快且最精确的 NAS 方法。
引用
@article{arxiv.2310.04179,
title = {Entropic Score metric: Decoupling Topology and Size in Training-free NAS},
author = {Niccolò Cavagnero and Luca Robbiano and Francesca Pistilli and Barbara Caputo and Giuseppe Averta},
journal= {arXiv preprint arXiv:2310.04179},
year = {2023}
}
备注
10 pages, 3 figures