EmProx：用于神经架构搜索的神经网络性能估计
机器学习
2022-06-14 v1
摘要
常见的神经架构搜索方法会生成大量候选架构，这些架构需要训练以评估其性能并找到最优架构。为最小化搜索时间，我们使用不同的性能估计策略。此类策略的有效性在准确性、拟合与查询时间方面有所差异。本研究提出一种新方法，EmProx 分数（Embedding Proximity Score，嵌入邻近分数）。与神经架构优化（NAO）类似，该方法使用编码器-解码器框架将候选架构映射到连续嵌入空间。然后基于已知性能架构的嵌入向量，使用加权 kNN 估计候选架构的性能。该方法的性能估计在准确性上与 NAO 中使用的 MLP 性能预测器相当，而训练速度比 NAO 快近九倍。与当前使用的其他性能估计策略的基准比较显示，其准确性相似或更好，同时速度快五到八十倍。
引用
@article{arxiv.2206.05972,
title = {EmProx: Neural Network Performance Estimation For Neural Architecture Search},
author = {G. G. H. Franken and P. Singh and J. Vanschoren},
journal= {arXiv preprint arXiv:2206.05972},
year = {2022}
}