SMASH：通过 HyperNetworks 进行一次性模型架构搜索
机器学习
2017-08-18 v1
摘要
为深度神经网络设计架构需要专家知识和大量计算时间。我们提出了一种技术，通过学习一个以模型架构为条件生成主模型权重的辅助 HyperNet，来加速架构选择。通过比较具有 HyperNet 生成权重的网络的相对验证性能，我们可以以单次训练运行的成本在广泛的架构范围内进行有效搜索。为了促进这种搜索，我们开发了一种基于内存读写的灵活机制，允许我们定义广泛的网络连接模式，并以 ResNet、DenseNet 和 FractalNet 模块作为特例。我们在 CIFAR-10、CIFAR-100、STL-10、ModelNet10 和 Imagenet32x32 上验证了我们的方法（SMASH），取得了与同等规模的手工设计网络相媲美的性能。我们的代码可在 https://github.com/ajbrock/SMASH 获取
引用
@article{arxiv.1708.05344,
title = {SMASH: One-Shot Model Architecture Search through HyperNetworks},
author = {Andrew Brock and Theodore Lim and J. M. Ritchie and Nick Weston},
journal= {arXiv preprint arXiv:1708.05344},
year = {2017}
}