BRP-NAS：基于图卷积网络预测的神经网络架构搜索
机器学习
2021-01-20 v4 信号处理
机器学习
摘要
神经网络架构搜索（NAS）使研究人员能够自动探索广阔的设计空间，以提高神经网络的效率。这种效率在设备端部署时尤为重要，因为准确率的提升应与模型的计算需求相平衡。在实践中，获取模型的性能度量在计算上代价高昂。先前的工作使用代理指标（例如操作数）或神经网络层的逐层测量来估计端到端硬件性能，但不精确的预测降低了 NAS 的质量。为解决此问题，我们提出 BRP-NAS，一种由基于图卷积网络（GCN）的精确性能预测器赋能的高效硬件感知 NAS。此外，我们研究了不同度量上的预测质量，并表明通过考虑模型的二元关系和迭代数据选择策略，可以提高基于预测器的 NAS 的样本效率。我们表明，我们提出的方法在 NAS-Bench-101 和 NAS-Bench-201 上优于所有先前方法，并且我们的预测器能够持续学习从 DARTS 搜索空间中提取有用特征，优于二阶基线。最后，为提高对精确延迟估计并非易事这一事实的认识，我们发布了 LatBench——一个在广泛设备上运行的 NAS-Bench-201 模型的延迟数据集。
引用
@article{arxiv.2007.08668,
title = {BRP-NAS: Prediction-based NAS using GCNs},
author = {Łukasz Dudziak and Thomas Chau and Mohamed S. Abdelfattah and Royson Lee and Hyeji Kim and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2007.08668},
year = {2021}
}
备注
Published at NeurIPS 2020