用于高效神经架构搜索的平滑变分图嵌入
机器学习
2021-05-13 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）近来从多个方向被研究，包括离散的、基于采样的方法以及高效的可微方法。前者以计算代价高昂而著称，后者则受限于对搜索空间施加的强约束。例如通过基于图神经网络的变分自编码器从学习到的嵌入空间进行架构优化，构建了一种中间路线，并融合了双方的优势。此类方法近来在多个基准上展现出良好性能。然而，其稳定性与预测能力严重依赖于从嵌入空间重建网络的能力。本文提出一种双侧变分图自编码器，可平滑编码并精确重建来自多种搜索空间的神经架构。我们在由ENAS方法、NAS-Bench-101与NAS-Bench-201搜索空间定义的神经架构上评估了所提方法，并表明我们的平滑嵌入空间允许直接将性能预测外推至所见域之外的架构（例如具有更多操作的架构）。因此，即便无需昂贵的贝叶斯优化或强化学习，它也能促进预测良好的网络架构。
引用
@article{arxiv.2010.04683,
title = {Smooth Variational Graph Embeddings for Efficient Neural Architecture Search},
author = {Jovita Lukasik and David Friede and Arber Zela and Frank Hutter and Margret Keuper},
journal= {arXiv preprint arXiv:2010.04683},
year = {2021}
}
备注
8 pages, 3 figures, 5 tables. Camera-Ready Version for IJCNN 2021