基于结构化稀疏恢复的神经网络超参数优化
机器学习
2020-07-09 v1 机器学习
摘要
本文通过稀疏恢复方法的视角，研究神经网络自动化设计中的两个重要问题——超参数优化（HPO）与神经架构搜索（NAS）。在本文第一部分，我们建立 HPO 与结构化稀疏恢复之间的新颖联系。具体而言，我们表明超参数空间的一种特殊编码可导出自然的组稀疏恢复形式，其与 HyperBand（一种多臂 bandit 策略）结合后，优于现有超参数优化方法。在 CIFAR-10 等图像数据集上的实验结果证实了我们所提方法的优势。在本文第二部分，我们建立 NAS 与结构化稀疏恢复之间的联系。基于 NAS 中的“一次性”方法，我们通过融合一次性方法与学习低阶稀疏布尔多项式的技术，提出一种称为 CoNAS 的新算法。我们就验证误差度量的数量提供了理论分析。最后，我们在多个数据集上验证该方法，发现了迄今未报道的新颖架构，在性能与搜索时间上均取得与现有 NAS 方法相当（或更优）的结果。
引用
@article{arxiv.2007.04087,
title = {Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery},
author = {Minsu Cho and Mohammadreza Soltani and Chinmay Hegde},
journal= {arXiv preprint arXiv:2007.04087},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1906.02869