无监督架构表示学习是否有助于神经架构搜索？
计算机视觉与模式识别
2020-10-27 v2 机器学习
摘要
现有的神经架构搜索（NAS）方法要么使用难以扩展的离散编码表示神经架构，要么采用基于监督学习的方法在架构表示上联合学习并表示搜索，这会带来搜索偏差。尽管被广泛使用，NAS中学到的架构表示仍鲜被理解。我们观察到，若架构表示学习与搜索相耦合，神经架构的结构特性很难在潜空间中保持，导致搜索性能下降。本工作中，我们从经验上发现，仅使用神经架构而不以其精度为标签来预训练架构表示，能显著提升下游架构搜索效率。为解释这些现象，我们可视化了无监督架构表示学习如何更好地促使具有相似连接与算子的神经架构聚在一起。这有助于将性能相似的神经架构映射到潜空间中的同一区域，并使架构在潜空间中的过渡相对平滑，从而极大惠及多样的下游搜索策略。
引用
@article{arxiv.2006.06936,
title = {Does Unsupervised Architecture Representation Learning Help Neural Architecture Search?},
author = {Shen Yan and Yu Zheng and Wei Ao and Xiao Zeng and Mi Zhang},
journal= {arXiv preprint arXiv:2006.06936},
year = {2020}
}
备注
NeurIPS 2020 camera-ready. Code: https://github.com/MSU-MLSys-Lab/arch2vec