重新审视神经架构搜索
机器学习
2020-10-20 v2
摘要
神经架构搜索（NAS）是一类用于构建神经网络结构的方法集合。当前的 NAS 方法远非从头自动，因为它们使用手工主干架构或微构建块（单元），与随机基线相比性能突破甚微。它们还在 NAS 流程的多个组件中涉及大量人工专家工作。这引出一个自然的问题——当前的 NAS 方法是否仍像 NAS 出现前构建模型时那样，在搜索空间设计与连线上严重依赖人工？在本文中，我们并非仅仅追求对最先进（SOTA）性能的微小改进，而是重新审视 NAS 的基本方法，并提出一种称为 ReNAS 的新方法，该方法能以极少人力搜索完整神经网络，是迈向 AutoML 终极目标的一步。我们的方法从映射为神经网络的完全图出发，通过平衡搜索空间的探索与利用来搜索连接与操作。所得结果与利用手工构建块的方法的 SOTA 性能相当。我们相信该方法可能催生面向多种网络类型的全新 NAS 策略。
引用
@article{arxiv.2010.05719,
title = {Revisiting Neural Architecture Search},
author = {Anubhav Garg and Amit Kumar Saha and Debo Dutta},
journal= {arXiv preprint arXiv:2010.05719},
year = {2020}
}
备注
Preprint. Under Review