基于性质引导综合的神经架构搜索
机器学习
2022-11-14 v3 编程语言
摘要
过去几年中，神经架构搜索（NAS）已成为深度学习社区中日益重要的工具。然而，尽管 NAS 近期取得诸多成功，大多数现有方法在高度结构化的设计空间内运作，因而仅探索了神经架构完整搜索空间的一小部分，同时还需要领域专家的大量人工投入。本工作中，我们开发了在显著更大的设计空间内实现高效 NAS 的技术。为此，我们提出在程序性质的抽象搜索空间中进行 NAS。我们的关键见解如下：(1) 抽象搜索空间远小于原始搜索空间；(2) 具有相似程序性质的架构也具有相似性能；因此，我们可在抽象搜索空间中更高效地搜索。为支持该方法，我们还提出了一种新颖的高效综合过程，其接受一组有前景的程序性质，并返回满足性质的神经架构。我们在进化框架内实现我们的方法 NAS，其中变异由程序性质引导。从 ResNet-34 模型出发，NAS 在 CIFAR-10 上生成了精度略有提升但参数减少 96% 的模型。在 ImageNet 上，NAS 能够在精度不退化的情况下，优于 Vision Transformer（FLOPS 与参数均减少 30%）、ResNet-50（FLOPS 减少 23%，参数减少 14%）和 EfficientNet（FLOPS 与参数均减少 7%）。
引用
@article{arxiv.2205.03960,
title = {Neural Architecture Search using Property Guided Synthesis},
author = {Charles Jin and Phitchaya Mangpo Phothilimthana and Sudip Roy},
journal= {arXiv preprint arXiv:2205.03960},
year = {2022}
}
备注
Our code is available at https://github.com/google-research/google-research/tree/master/abstract_nas