G-ICSO-NAS：在梯度与群体智能之间切换以实现鲁棒的神经网络架构搜索
神经与进化计算
2026-04-02 v1
摘要
神经网络架构搜索（NAS）已成为自动机器学习中的关键技术。基于进化算法（EA）的方法展现出优越的搜索质量，但计算成本高昂；而基于梯度的方法如 DARTS 效率极高，但容易过早收敛和性能崩溃。为弥合这一差距，我们提出 G-ICSO-NAS，一个实现三阶段优化策略的混合框架。预热阶段通过可微分方法预训练超网络权重（），同时架构参数（）保持冻结。探索阶段采用混合协同优化机制：具有多样性感知适应度的改进竞争群优化器（ICSO）在架构空间中导航以更新 ，同时梯度下降并行更新 。稳定阶段采用细粒度基于梯度的搜索并结合早停以收敛到最优架构。通过协同利用 ICSO 的全局导航能力与可微分方法的效率，G-ICSO-NAS 在极小成本下取得了显著性能。在 DARTS 搜索空间中，仅用 0.15 GPU-Day 的计算预算就在 CIFAR-10 上达到了 97.46% 的准确率。该方法还展现出强大的迁移潜力，在 CIFAR-100 上记录了 83.1% 的准确率，在 ImageNet 上记录了 75.02% 的准确率。此外，关于 NAS-Bench-201 基准测试，G-ICSO-NAS 在所有评估数据集上均展现出最先进的结果。
引用
@article{arxiv.2604.00703,
title = {G-ICSO-NAS: Shifting Gears between Gradient and Swarm for Robust Neural Architecture Search},
author = {Xingbang Du and Enzhi Zhang and Rui Zhong and Yang Cao and Masaharu Munetomo},
journal= {arXiv preprint arXiv:2604.00703},
year = {2026}
}
备注
Accepted at the International Joint Conference on Neural Networks (IJCNN), WCCI 2026. This is a preprint version