提升神经架构搜索的保序性与可迁移性：一种联合架构精炼搜索与微调的方法
计算机视觉与模式识别
2024-03-19 v1
摘要
超网是许多近期神经架构搜索 (NAS) 方法的核心组件。它不仅有助于体现搜索空间，还提供候选架构最终性能的（相对）估计。因此，超网排名的顶级架构应与真实性能排名的架构保持一致，这被称为保序能力。在这项工作中，我们分析了整个搜索空间（全局）和顶级架构子空间（局部）上的保序能力，并凭经验表明当前两阶段 NAS 方法的局部保序性仍需改进。为了纠正这一点，我们提出了一个新概念——超网迁移，这是一种将架构搜索与超网微调相结合的精炼搜索策略。具体而言，除了评估之外，搜索过程中也会累积训练损失，并且每次迭代都会更新超网。由于在进化搜索中更优的架构被更频繁地采样，这促使超网专注于顶级架构，从而提高局部保序性。此外，预训练的超网对于一次性方法通常是不可重用的。我们表明超网迁移可以实现将超网迁移到新数据集。具体而言，最后的分类器层将被重置，并通过进化搜索进行训练。综合实验表明，我们的方法具有更好的保序能力，并能找到主导架构。此外，预训练的超网可以轻松迁移到新数据集而不损失性能。
引用
@article{arxiv.2403.11380,
title = {Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach},
author = {Beichen Zhang and Xiaoxing Wang and Xiaohan Qin and Junchi Yan},
journal= {arXiv preprint arXiv:2403.11380},
year = {2024}
}
备注
Accepted by CVPR2024