剪枝与替换式神经架构搜索
机器学习
2021-04-23 v2 机器学习
摘要
尽管近期的 NAS 算法比开创性工作快数千倍，但常被忽视的是它们使用了更少的候选操作，导致搜索空间显著缩小。我们提出 PR-DARTS，一种在更大搜索空间和单日内发现强网络配置的 NAS 算法。该方法使用较小的候选操作池，从中逐步剪枝候选操作并替换为性能更优者。在 CIFAR-10 和 CIFAR-100 上的实验分别取得了 2.51% 和 15.53% 的测试误差，尽管搜索空间中每个单元的可能配置数量是 DARTS 基线的 150 倍。代码见 https://github.com/cogsys-tuebingen/prdarts
引用
@article{arxiv.1906.07528,
title = {Prune and Replace NAS},
author = {Kevin Alexander Laube and Andreas Zell},
journal= {arXiv preprint arXiv:1906.07528},
year = {2021}
}
备注
9 pages, 3 figures, 3 tables reworked, accepted at the ICMLA 2019