ZO-DARTS++：一种高效且尺寸可变的零阶神经架构搜索算法
计算机视觉与模式识别
2025-03-11 v1 人工智能
机器学习
摘要
可微神经架构搜索（NAS）为自动化深度学习（DL）模型的复杂设计提供了一条有前景的途径。然而，当前的可微 NAS 方法在效率、操作选择以及在不同资源限制下的适应性方面经常面临约束。我们引入了 ZO-DARTS++，一种有效平衡性能与资源约束的新型 NAS 方法。通过集成零阶近似以实现高效的梯度处理，采用带温度退火的 sparsemax 函数以获得更清晰、更可解释的架构分布，并采用尺寸可变的搜索方案以生成紧凑而准确的架构，ZO-DARTS++ 在模型复杂性与性能之间建立了新的平衡。在医学成像数据集上的广泛测试中，ZO-DARTS++ 较基于标准 DARTS 的方法平均准确率最高提升 1.8%，搜索时间缩短约 38.6%。此外，其资源受限变体在保持竞争性准确率水平的同时，可将参数量减少 35% 以上。因此，ZO-DARTS++ 提供了一个通用且高效的框架，用于生成适合现实世界医学应用的高质量、资源感知的 DL 模型。
引用
@article{arxiv.2503.06092,
title = {ZO-DARTS++: An Efficient and Size-Variable Zeroth-Order Neural Architecture Search Algorithm},
author = {Lunchen Xie and Eugenio Lomurno and Matteo Gambella and Danilo Ardagna and Manual Roveri and Matteo Matteucci and Qingjiang Shi},
journal= {arXiv preprint arXiv:2503.06092},
year = {2025}
}
备注
14 pages, 8 figures