利用UCT在一天内寻找有竞争力的网络架构
机器学习
2019-06-07 v2 计算机视觉与模式识别
机器学习
摘要
为新数据集设计神经网络架构是一项需要人类深度学习专业知识的费力任务。为了使深度学习惠及更广泛的受众，寻找神经网络架构的自动化方法至关重要。近期提出的方法已经可以达到人类专家水平的性能。然而，这些方法具有数月甚至数年的GPU计算运行时间，忽视了众多研究者和公司所面临的硬件约束。我们提出将蒙特卡洛规划与两种不同的UCT（应用于树的上置信界）推导结合使用以搜索网络架构。我们通过提出两种在搜索树不同分支间共享信息的方式，使UCT算法适应网络架构搜索的需求。在实证研究中，我们能够证明该方法能够在仅一个GPU日内为MNIST、SVHN和CIFAR-10找到有竞争力的网络。将搜索时间延长至五个GPU日，我们能够超越人类架构以及考虑相同类型层的竞争对手。
引用
@article{arxiv.1712.07420,
title = {Finding Competitive Network Architectures Within a Day Using UCT},
author = {Martin Wistuba},
journal= {arXiv preprint arXiv:1712.07420},
year = {2019}
}