高效的全局神经架构搜索
计算机视觉与模式识别
2025-02-07 v1
摘要
神经架构搜索（NAS）在自动化给定任务的神经网络设计方面展现了潜力，但由于评估大量架构以寻找最优架构所带来的训练成本，其计算需求很高。为了加速 NAS，近期工作将搜索限制在网络构建块（模块化搜索），而不是搜索整个架构（全局搜索）；用近似评估候选架构性能代替完整训练；并使用梯度下降而非自然适合的离散优化方法。然而，模块化搜索无法确定网络的宏观架构，即深度和宽度，需要在搜索后进行手动试错，因此缺乏自动化。在这项工作中，我们重新审视 NAS 并设计了一个可导航且架构多样的宏观-微观搜索空间。此外，为了确定候选架构的相对排名，现有方法在整个搜索空间中采用一致的近似评估，而不同的网络在一种训练协议下可能无法公平比较。因此，我们提出了一种架构感知的近似评估方法，为不同网络采用可变的训练方案。此外，我们通过解耦宏观-微观网络设计，开发了一种高效的搜索策略，该策略在准确性和模型大小方面都能产生有竞争力的架构。我们提出的框架在 EMNIST 和 KMNIST 上达到了新的最先进水平，同时在 CIFAR-10、CIFAR-100 和 FashionMNIST 数据集上极具竞争力，并且比最快的全局搜索方法快 2-4 倍。最后，我们通过为面部识别应用发现具有竞争力的架构，展示了我们的框架可迁移到现实世界的计算机视觉问题。
引用
@article{arxiv.2502.03553,
title = {Efficient Global Neural Architecture Search},
author = {Shahid Siddiqui and Christos Kyrkou and Theocharis Theocharides},
journal= {arXiv preprint arXiv:2502.03553},
year = {2025}
}
备注
CAIP2023