DHA：数据增强策略、超参数与架构的端到端联合优化
机器学习
2023-03-31 v2 计算机视觉与模式识别
摘要
自动化机器学习（AutoML）通常涉及几个关键组件，如数据增强（DA）策略、超参数优化（HPO）和神经网络架构搜索（NAS）。尽管已开发了许多策略分别自动化这些组件，但由于搜索维度的大幅增加以及各组件输入类型的差异，这些组件的联合优化仍然具有挑战性。与此同时，NAS中先搜索最优架构然后在部署前重新训练的常见做法往往面临搜索阶段与重新训练阶段之间性能相关性低的问题。一种集成AutoML组件并在搜索结束时返回即用模型的端到端解决方案是理想的。鉴于此，我们提出DHA，实现了数据增强策略、超参数与架构的联合优化。具体而言，端到端NAS通过优化压缩的低维特征空间以可微方式实现，而DA策略和HPO被视为动态调度器，同时自适应于网络参数和网络架构的更新。实验表明，DHA在各种数据集和搜索空间上取得了最先进的（SOTA）结果。据我们所知，我们是首个以端到端方式高效且联合优化DA策略、NAS和HPO而无需重新训练的工作。
引用
@article{arxiv.2109.05765,
title = {DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture},
author = {Kaichen Zhou and Lanqing Hong and Shoukang Hu and Fengwei Zhou and Binxin Ru and Jiashi Feng and Zhenguo Li},
journal= {arXiv preprint arXiv:2109.05765},
year = {2023}
}