用于神经架构搜索的图超网络
机器学习
2020-12-21 v3 计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）自动寻找最佳的任务特定神经网络拓扑，优于许多人工架构设计。然而，它可能成本高昂，因为搜索需要训练数千个不同的网络，而每个网络可能持续数小时。在本工作中，我们提出图超网络（GHN）以分摊搜索成本：给定一个架构，它通过在图神经网络上运行推理直接生成权重。GHN 对架构的拓扑建模，因此比常规超网络和过早早停能更准确地预测网络性能。为执行 NAS，我们随机采样架构，并使用具有 GHN 生成权重的网络的验证精度作为代理搜索信号。GHN 速度快——在 CIFAR-10 和 ImageNet 上，它们比其它随机搜索方法快近 10 倍。GHN 可进一步扩展到随时预测设置，在该设置中它们找到了比最先进人工设计具有更好速度-精度权衡的网络。
引用
@article{arxiv.1810.05749,
title = {Graph HyperNetworks for Neural Architecture Search},
author = {Chris Zhang and Mengye Ren and Raquel Urtasun},
journal= {arXiv preprint arXiv:1810.05749},
year = {2020}
}
备注
ICLR 2019