神经架构搜索基准设计是否合理？对操作重要性的深入考察
机器学习
2023-03-31 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
神经架构搜索（NAS）基准通过提供关于数千个已训练神经网络的元信息，显著提升了开发与比较 NAS 方法的能力，同时大幅降低了计算开销。然而，表格基准存在若干缺陷，可能妨碍公平比较并给出不可靠结果。这些缺陷通常集中于在高度受限的搜索空间（通常是具有预定义外部骨架的基于单元的神经网络）中提供小规模操作池。本文中，我们就广泛使用的 NAS-Bench-101、NAS-Bench-201 和 TransNAS-Bench-101 基准的可生成性，以及不同操作如何影响所生成架构的性能，进行了实证分析。我们发现仅需操作池的一个子集即可生成接近性能区间上界的架构。此外，性能分布呈负偏态，在上界区间具有更高的架构密度。我们一致发现卷积层对架构性能影响最大，且特定操作组合有利于高分架构。这些发现为使用 NAS 基准正确评估与比较 NAS 方法提供了见解，表明直接在 NAS-Bench-201、ImageNet16-120 和 TransNAS-Bench-101 上搜索比仅在 CIFAR-10 上搜索产生更可靠的结果。此外，本文为未来的基准评估与设计提供了建议。用于评估的代码见 https://github.com/VascoLopes/NAS-Benchmark-Evaluation。
引用
@article{arxiv.2303.16938,
title = {Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance},
author = {Vasco Lopes and Bruno Degardin and Luís A. Alexandre},
journal= {arXiv preprint arXiv:2303.16938},
year = {2023}
}
备注
15 pages; 11 figues; 10 tables