SWAP-NAS：用于超快速神经架构搜索的样本级激活模式
机器学习
2024-06-25 v5 计算机视觉与模式识别
神经与进化计算
摘要
免训练指标（又称零成本代理）被广泛用于避免资源密集型的神经网络训练，特别是在神经架构搜索（NAS）中。最近的研究表明，现有的免训练指标存在若干局限性，例如在不同搜索空间和任务中的相关性有限且泛化能力较差。因此，我们提出了样本级激活模式及其衍生指标 SWAP-Score，这是一种新型的高性能免训练指标。它衡量网络在一批输入样本上的表达能力。SWAP-Score 与各种搜索空间和任务中的真实性能高度相关，在 NAS-Bench-101/201/301 和 TransNAS-Bench-101 上优于 15 种现有的免训练指标。SWAP-Score 可以通过正则化进一步增强，这在基于单元的搜索空间中实现了更高的相关性，并能在搜索过程中控制模型大小。例如，在 NAS-Bench-201 网络上，正则化 SWAP-Score 与 CIFAR-100 验证准确率之间的 Spearman 秩相关系数为 0.90，显著高于第二佳指标 NWOT 的 0.80。当与用于 NAS 的进化算法集成时，我们的 SWAP-NAS 分别在约 6 分钟和 9 分钟的 GPU 时间内，在 CIFAR-10 和 ImageNet 上取得了具有竞争力的性能。
引用
@article{arxiv.2403.04161,
title = {SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS},
author = {Yameng Peng and Andy Song and Haytham M. Fayek and Vic Ciesielski and Xiaojun Chang},
journal= {arXiv preprint arXiv:2403.04161},
year = {2024}
}
备注
ICLR2024 Spotlight