MGAS：面向模型效果与效率权衡的多粒度架构搜索
机器学习
2025-11-26 v4 人工智能
摘要
神经架构搜索（NAS）在自动化设计神经网络方面获得了显著关注。为减少搜索时间，可微架构搜索（DAS）将传统的离散候选采样与评估范式重构为在超网上的可微优化，随后进行离散化。然而，现有大多数 DAS 方法主要关注优化粗粒度的操作级拓扑，而忽略了更细粒度的结构，如滤波器级和权重级模式。这限制了它们平衡模型性能与模型大小的能力。此外，许多方法在搜索过程中为节省内存而牺牲搜索质量。为解决这些问题，我们提出多粒度可微架构搜索（MG-DARTS），一个统一框架，旨在通过以内存高效的方式全面探索多粒度搜索空间，从零发现既有效又高效的架构。具体而言，我们在两方面改进现有 DAS 方法。第一，我们通过自适应剪枝跨不同粒度级别自适应调整可搜索单元的保留比例，这通过学习随架构演化的粒度特定离散化函数实现。第二，我们将超网优化与离散化分解为多个阶段，每阶段在一个子网上操作，并引入渐进式重评估以启用先前单元的重剪枝与再生，从而缓解潜在偏差。在 CIFAR-10、CIFAR-100 和 ImageNet 上的大量实验表明，MG-DARTS 在模型准确率与参数效率之间更好的权衡上优于其他最先进方法。代码见 https://github.com/lxy12357/MG_DARTS。
引用
@article{arxiv.2310.15074,
title = {MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model Effectiveness and Efficiency},
author = {Xiaoyun Liu and Divya Saxena and Jiannong Cao and Yuqing Zhao and Penghui Ruan},
journal= {arXiv preprint arXiv:2310.15074},
year = {2025}
}