BossNAS：以分块自监督神经架构搜索探索混合 CNN-Transformer
计算机视觉与模式识别
2021-08-20 v3 机器学习
摘要
近期在视觉识别手工神经网络架构方面的大量突破，凸显了探索由多样化构建模块组成的混合架构的迫切需求。与此同时，神经架构搜索（NAS）方法蓬勃发展，有望减少人工投入。然而，NAS 方法能否高效且有效地处理具有不同候选者（如 CNN 与 transformer）的多样化搜索空间，仍是一个开放问题。在本工作中，我们提出分块自监督神经架构搜索（BossNAS），一种无监督 NAS 方法，解决了以往方法中因权重共享空间过大和偏置监督所导致的架构评分不准确问题。更具体地，我们将搜索空间分解为块，并利用一种名为集成自举（ensemble bootstrapping）的新型自监督训练方案，在将各块作为整体朝总体中心搜索之前分别训练每个块。此外，我们提出 HyTra 搜索空间，一种类似织物的可搜索下采样位置之混合 CNN-transformer 搜索空间。在这一具挑战性的搜索空间上，我们搜索得到的模型 BossNet-T 在 ImageNet 上达到最高 82.5% 的准确率，在以可比计算时间下超越 EfficientNet 2.4%。此外，我们的方法在规范 MBConv 搜索空间（配 ImageNet）和 NATS-Bench 尺寸搜索空间（配 CIFAR-100）上分别取得 0.78 和 0.76 的 Spearman 相关性，实现了优越的架构评分准确率，超越最先进（state-of-the-art）的 NAS 方法。代码：https://github.com/changlin31/BossNAS
引用
@article{arxiv.2103.12424,
title = {BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search},
author = {Changlin Li and Tao Tang and Guangrun Wang and Jiefeng Peng and Bing Wang and Xiaodan Liang and Xiaojun Chang},
journal= {arXiv preprint arXiv:2103.12424},
year = {2021}
}
备注
Accepted to ICCV 2021