基于图且带操作嵌入的神经架构搜索
机器学习
2021-08-18 v2 人工智能
计算机视觉与模式识别
摘要
神经架构搜索（NAS）近年来受到越来越多的关注，它是一类在网路架构的输入空间中自动搜索的方法。NAS 流程的关键部分是对架构的编码，该编码由所采用的计算块（即操作及其间的连接）组成。现有大多数方法要么无法捕捉架构的结构特性，要么使用手工设计的向量来编码算子信息。本文中，我们提出在优化过程中以可学习的表示替代固定的算子编码。该方法有效捕捉了不同操作间的关系，带来更平滑且更精确的架构表示，从而改善了最终任务的性能。我们在 ENAS 基准上的广泛评估证明了所提出的操作嵌入在生成高精度模型方面的有效性，取得了最先进的性能。最后，我们的方法产生出共享相似操作和图模式的顶级架构，凸显了架构结构特性与其性能之间的强相关性。
引用
@article{arxiv.2105.04885,
title = {Graph-based Neural Architecture Search with Operation Embeddings},
author = {Michail Chatzianastasis and George Dasoulas and Georgios Siolas and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2105.04885},
year = {2021}
}
备注
12 pages, 10 figures