HyperSTAR：深度网络的任务感知超参数方法
计算机视觉与模式识别
2020-05-22 v1 机器学习
机器学习
摘要
尽管深度神经网络在解决视觉识别任务方面表现出色，但要找到使其达到最优表现的超参数需要耗费大量精力。超参数优化（HPO）方法已实现了寻找良好超参数的自动化，但它们并不适应给定任务（任务无关），导致计算效率低下。为减少 HPO 时间，我们提出 HyperSTAR（任务感知超参数推荐系统），一种用于深度神经网络 HPO 热启动的任务感知方法。HyperSTAR 通过在联合数据集-超参数空间上预测性能，对超参数进行排序与推荐。它以端到端方式直接从原始图像中学习数据集（任务）表示及性能预测器。当推荐结果与现有 HPO 方法结合时，可使其具备任务感知能力，并显著减少达到最优性能所需的时间。我们在 10 个公开的大规模图像分类数据集上、基于两种不同网络架构进行了大量实验，证实相比现有方法，HyperSTAR 为达到最佳性能所评估的配置数量减少 50%。我们进一步证明，HyperSTAR 使 Hyperband（HB）具备任务感知能力，仅需原始 HB 与贝叶斯优化 HB（BOHB）所需预算的 25% 即可达到最优精度。
引用
@article{arxiv.2005.10524,
title = {HyperSTAR: Task-Aware Hyperparameters for Deep Networks},
author = {Gaurav Mittal and Chang Liu and Nikolaos Karianakis and Victor Fragoso and Mei Chen and Yun Fu},
journal= {arXiv preprint arXiv:2005.10524},
year = {2020}
}
备注
Published at CVPR 2020 (Oral)