基于多样性引导搜索空间收缩的一次性神经集成架构搜索
计算机视觉与模式识别
2021-07-19 v2
摘要
尽管已取得显著进展，大多数神经架构搜索（NAS）方法仍专注于搜索单一准确且鲁棒的架构。为了进一步构建具有更好泛化能力和性能的模型，通常采用模型集成，其表现优于独立模型。受模型集成优点的启发，我们提出同时搜索多个多样化模型，作为寻找强大模型的替代方案。搜索集成并非易事，存在两个关键挑战：搜索空间扩大以及所搜模型的潜在更高复杂度。本文提出一种一次性神经集成架构搜索（NEAS）方案，应对上述两个挑战。针对第一个挑战，我们引入一种基于多样性的新度量来引导搜索空间收缩，同时考虑候选算子的潜力与多样性。针对第二个挑战，我们启用新的搜索维度，以学习不同模型间的层共享从而提升效率。在 ImageNet 上的实验清楚表明，我们的方案能提升超网对集成架构排序的能力，并进一步带来更好的搜索结果。在对齐设置下，所发现的架构相比 MobileNetV3 和 EfficientNet 系列等当前最优方法实现了更优性能。此外，我们在 COCO 检测基准上评估了所搜架构的泛化能力与鲁棒性，相比 MobileNetV3 在 AP 上取得 3.1% 的提升。代码与模型见 https://github.com/researchmm/NEAS。
引用
@article{arxiv.2104.00597,
title = {One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking},
author = {Minghao Chen and Houwen Peng and Jianlong Fu and Haibin Ling},
journal= {arXiv preprint arXiv:2104.00597},
year = {2021}
}
备注
Accepted to CVPR 2021