面向高效图像分类器搜索的广义全局排序感知神经架构排序器
计算机视觉与模式识别
2022-07-13 v2
摘要
神经架构搜索（NAS）是自动化设计有效图像处理DNN的强大工具。排序方法被倡导用于设计NAS的高效性能预测器。此前的对比方法通过比较成对的架构并预测其相对性能来解决排序问题。然而，它仅关注两个所涉架构之间的排名，忽视了搜索空间的整体质量分布，可能存在泛化问题。为应对这种局部视角导致的问题，我们提出了一种称为神经架构排序器（NAR）的预测器，其聚焦于特定架构的全局质量层级。NAR从全局角度探索搜索空间的质量层级，并根据全局排名为每个个体划分其所属层级。由此，预测器获得了搜索空间的性能分布知识，有助于将其排序能力更轻松地泛化到数据集上。同时，全局质量分布通过直接依据质量层级的统计信息采样候选者来简化搜索阶段，无需训练搜索算法（如强化学习（RL）或进化算法（EA）），从而简化了NAS流程并节省了计算开销。所提出的NAR在两个广泛使用的NAS研究数据集上取得了优于最先进方法的性能。在NAS-Bench-101的庞大搜索空间中，NAR仅通过采样便轻松找到了性能排名前0.01‰的架构。它还能很好地泛化到NAS-Bench-201的不同图像数据集，即CIFAR-10、CIFAR-100和ImageNet-16-120，为每个数据集识别出最优架构。
引用
@article{arxiv.2201.12725,
title = {Generalized Global Ranking-Aware Neural Architecture Ranker for Efficient Image Classifier Search},
author = {Bicheng Guo and Tao Chen and Shibo He and Haoyu Liu and Lilin Xu and Peng Ye and Jiming Chen},
journal= {arXiv preprint arXiv:2201.12725},
year = {2022}
}