TAPAS：用于架构搜索的无训练精度预测器
机器学习
2018-06-04 v1 机器学习
摘要
近年来，越来越多的研究人员和从业者提出了大规模神经网络架构搜索算法：遗传算法、强化学习、学习曲线外推和精度预测器。然而，在面临未知数据集时，它们都没有展现出无需训练新实验的高性能。我们提出了一种新的深度神经网络精度预测器，可在不到一秒的时间内估计未知输入数据集的分类性能，且无需训练。与先前提出的方法相比，我们的预测不仅基于拓扑网络信息进行校准，还基于数据集难度表征，这使我们能够在不进行任何训练的情况下重新调整预测。我们的预测器在单个GPU上实现了每秒超过100个网络的性能，从而创造了在几分钟内进行大规模架构搜索的机会。我们展示了在单个GPU上400秒内进行的两次搜索的结果。我们通过训练验证，发现的最佳网络在CIFAR-10上达到93.67%的准确率，在CIFAR-100上达到81.01%的准确率。这些网络与其他自动发现的SOTA（state-of-the-art，最先进）网络在性能上具有竞争力，但我们仅需要极少的时间和计算资源即可求解。
引用
@article{arxiv.1806.00250,
title = {TAPAS: Train-less Accuracy Predictor for Architecture Search},
author = {R. Istrate and F. Scheidegger and G. Mariani and D. Nikolopoulos and C. Bekas and A. C. I. Malossi},
journal= {arXiv preprint arXiv:1806.00250},
year = {2018}
}