基于图 VAE 的神经架构优化
机器学习
2020-06-20 v1 机器学习
摘要
由于在连续空间上具有很高的计算效率，梯度优化方法在神经架构搜索（NAS）领域展现出了巨大潜力。将网络表示从离散空间映射到潜在空间是发现新架构的关键，然而现有的基于梯度的方法未能充分刻画网络。在本文中，我们提出了一种高效的 NAS 方法，用于在连续空间中优化网络架构，其中潜在空间建立在变分自编码器（VAE）和图神经网络（GNN）之上。该框架以端到端的方式联合学习四个组件：编码器、性能预测器、复杂度预测器和解码器。编码器和解码器属于图 VAE，负责在连续表示和网络架构之间进行映射。预测器是两个回归模型，分别拟合性能和计算复杂度。这些预测器确保所发现的架构兼具出色的性能和极高的计算效率。大量实验表明，我们的框架不仅能生成合适的连续表示，还能发现强大的神经架构。
引用
@article{arxiv.2006.10310,
title = {Neural Architecture Optimization with Graph VAE},
author = {Jian Li and Yong Liu and Jiankun Liu and Weiping Wang},
journal= {arXiv preprint arXiv:2006.10310},
year = {2020}
}