XferNAS：迁移神经架构搜索
机器学习
2019-07-22 v1 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
神经架构搜索（NAS）一词指的是针对新的、先前未知的任务自动优化网络架构。由于测试一个架构在计算上非常昂贵，许多优化器需要数天甚至数周来寻找合适的架构。然而，如果复用先前在不同任务上搜索所得的知识，这一搜索时间可显著缩短。本工作中，我们提出一个普遍适用的框架，其对现有优化器仅做微小改动即可利用该特性。作为一个示例，我们选取一种现有优化器，展示了该框架集成的复杂性及其影响。在 CIFAR-10 和 CIFAR-100 上的实验中，我们观察到搜索时间从 200 GPU 天减少至仅 6 GPU 天，实现了 33 倍的加速。此外，我们分别在 CIFAR 基准上观测到 NAS 优化器的 1.99 和 14.06 的新纪录。在一项独立研究中，我们分析了源数据与目标数据量的影响。凭经验我们证明，所提框架通常给出更好的结果，且在最坏情况下与未修改的优化器相当。
引用
@article{arxiv.1907.08307,
title = {XferNAS: Transfer Neural Architecture Search},
author = {Martin Wistuba},
journal= {arXiv preprint arXiv:1907.08307},
year = {2019}
}