计算高效的神经架构搜索综述
机器学习
2022-10-25 v3 神经与进化计算
摘要
神经架构搜索（NAS）近来在深度学习社区中日益流行，主要是因为它能为缺乏丰富专业知识的感兴趣用户提供从深度神经网络（DNNs）成功中获益的机会。然而，NAS 仍然费力且耗时，因为在 NAS 的搜索过程中需要大量性能估计，且训练 DNNs 计算密集。为解决 NAS 的这一主要局限，提升计算效率在 NAS 设计中至关重要。然而，对计算高效 NAS（CE-NAS）方法的系统性概览仍然缺乏。为填补此空白，我们通过对现有工作分类为基于代理与代理辅助的 NAS 方法，并提供对其设计原则的深入讨论及性能与计算复杂度的定量比较，给出 CE-NAS 最前沿的全面综述。文中还讨论了剩余挑战与开放研究问题，并建议了这一新兴领域中有前景的研究课题。
引用
@article{arxiv.2206.01520,
title = {A Survey on Computationally Efficient Neural Architecture Search},
author = {Shiqing Liu and Haoyu Zhang and Yaochu Jin},
journal= {arXiv preprint arXiv:2206.01520},
year = {2022}
}
备注
20 pages, 7 figures