神经架构高效性能估计器的评估
计算机视觉与模式识别
2021-11-01 v5
摘要
对神经架构进行高效的性能估计是神经架构搜索(NAS)中的一大挑战。为降低 NAS 中的架构训练成本,一次性估计器(OSE)通过在所有架构间共享一个“超网(supernet)”的参数来分摊架构训练成本。近来,提出了不涉及训练的零次估计器(ZSE)以进一步降低架构评估成本。尽管这些估计器效率很高,但其估计质量尚未被充分研究。本文在五个 NAS 基准上对已 OSE 和 ZSE 进行了广泛而有条理的评估:NAS-Bench-101/201/301,以及 NDS ResNet/ResNeXt-A。具体而言,我们采用一组面向 NAS 的准则来研究 OSE 和 ZSE 的行为,并揭示它们存在特定的偏差与方差。在分析了 OSE 估计不尽如人意的原因与机制后,我们从多个角度探索如何缓解 OSE 与真实性能的相关性差距。通过我们的分析,我们给出了关于高效架构性能估计器未来应用与发展的建议。此外,本文提出的分析框架可用于未来研究,以对新设计的架构性能估计器给出更全面的理解。所有代码见 https://github.com/walkerning/aw_nas。
引用
@article{arxiv.2008.03064,
title = {Evaluating Efficient Performance Estimators of Neural Architectures},
author = {Xuefei Ning and Changcheng Tang and Wenshuo Li and Zixuan Zhou and Shuang Liang and Huazhong Yang and Yu Wang},
journal= {arXiv preprint arXiv:2008.03064},
year = {2021}
}
备注
accepted by NeurIPS 2021 (10 page main texts)