HM-NAS：基于分层掩码的高效神经架构搜索
机器学习
2019-09-10 v2 计算机视觉与模式识别
机器学习
摘要
使用自动方法（常称神经架构搜索，NAS）设计神经网络架构近来备受关注。本文提出一种高效NAS方法HM-NAS，推广了现有基于权重共享的NAS方法。现有基于权重共享的NAS方法仍采用手工设计的启发式规则生成架构候选。因此，架构候选空间被限制于所有可能架构的子集内，使搜索结果次优。HM-NAS通过两项创新解决该局限。其一，HM-NAS引入多级架构编码方案，可搜索更灵活的网络架构。其二，摒弃手工设计的启发式规则，引入分层掩码方案，自动学习并确定最优架构。与最先进的基于权重共享的方法相比，HM-NAS能取得更优的架构搜索性能与具竞争力的模型评估精度。不受手工启发式约束，我们搜索到的网络包含现有基于权重共享的NAS方法无法发现的更灵活且具意义的架构。
引用
@article{arxiv.1909.00122,
title = {HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking},
author = {Shen Yan and Biyi Fang and Faen Zhang and Yu Zheng and Xiao Zeng and Hui Xu and Mi Zhang},
journal= {arXiv preprint arXiv:1909.00122},
year = {2019}
}
备注
9 pages, 6 figures, 6 tables. Nominated for ICCV 2019 Neural Architects Workshop Best Paper Award