鲁棒性提升的训练自由神经网络架构搜索
机器学习
2024-03-13 v1
摘要
神经网络架构搜索 (NAS) 已成为 AutoML 的关键组成部分，是自动化设计深度神经网络的标准工具。最近，训练自由 NAS 作为一种新兴范式，成功降低了标准基于训练的 NAS 的搜索成本，通过仅使用训练自由指标来估计真实的架构性能。然而，这些指标的估计能力通常在不同任务之间存在差异，这使得仅使用单个训练自由指标在多样化任务上实现稳健且一致良好搜索性能具有挑战性。此外，训练自由指标与真实架构性能之间的估计差距限制了训练自由 NAS 能够获得卓越性能。为解决这些挑战，本文提出了鲁棒性提升的训练自由神经网络架构搜索算法 (RoBoT)，该算法 (a) 采用从贝叶斯优化中探索的现有训练自由指标的优化组合，以在 diverse 任务上开发稳健且一致更佳的指标；(b) 在新开发的指标上应用贪婪搜索，即开发，从而弥合上述差距并进一步提升标准训练自由 NAS 的搜索性能。值得注意的是，我们的 RoBoT 的预期性能可以在理论上得到保证，这在 mild 条件下优于现有的训练自由 NAS，并附带有趣的见解。我们的在各种 NAS 基准任务上的大量实验提供了充分的实证证据支持我们的理论结果。
引用
@article{arxiv.2403.07591,
title = {Robustifying and Boosting Training-Free Neural Architecture Search},
author = {Zhenfeng He and Yao Shu and Zhongxiang Dai and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2403.07591},
year = {2024}
}
备注
Accepted by ICLR 2024. Code available at https://github.com/hzf1174/RoBoT