ReNAS：神经架构搜索的相对论式评估
机器学习
2021-09-27 v7 神经与进化计算
摘要
有效且高效的架构性能评估方案对神经架构搜索（NAS）的成功至关重要。为节省计算成本，多数现有 NAS 算法常在小规模代理数据集上以有限训练轮数训练并评估中间神经架构。但难以期望以如此粗略的评估方式准确估计架构性能。本文倡导一种新的神经架构评估方案，其旨在判定哪一架构表现更优，而非准确预测架构绝对性能。因此，我们提出 NAS 中的相对论式架构性能预测器（ReNAS）。我们将神经架构编码为特征张量，并进一步用预测器精炼表征。所提相对论式性能预测器可部署于离散搜索方法中，以搜索所需架构而无需额外评估。在 NAS-Bench-101 数据集上的实验结果表明，采样 424 个（占整个搜索空间的 0.1%）神经架构及其对应验证性能已足以学习准确的架构性能预测器。我们在 NAS-Bench-101 与 NAS-Bench-201 数据集上搜索到的神经架构准确率高于最先进方法，并显示出所提方法的优越性。
引用
@article{arxiv.1910.01523,
title = {ReNAS:Relativistic Evaluation of Neural Architecture Search},
author = {Yixing Xu and Yunhe Wang and Kai Han and Yehui Tang and Shangling Jui and Chunjing Xu and Chang Xu},
journal= {arXiv preprint arXiv:1910.01523},
year = {2021}
}
备注
CVPR 2021, Oral