基于特征选择与外推的神经架构搜索加速精度预测
机器学习
2022-11-23 v1 计算机视觉与模式识别
摘要
预测候选神经架构的精度是基于 NAS 的解决方案的一项重要能力。当候选架构的属性与其他已知架构相似时，使用现成的回归算法即可较为直接地完成预测任务。然而，当候选架构位于已知架构空间之外时，回归模型必须进行外推预测，这不仅是一项具有挑战性的任务，而且使用最流行的基于决策树的回归算法族在技术上是不可能的。在这项工作中，我们试图解决两个问题。其一是利用特征选择提升回归精度，其二是评估回归算法在外推精度预测任务上的表现。我们用新的表格特征扩展了 NAAP-440 数据集，并引入 NAAP-440e 用于评估。我们观察到相较旧基线有显著提升：具体而言，新基线所需的候选架构训练过程缩短为原来的 1/3，同时在保持相同平均绝对误差的前提下，单调性违例几乎减少为旧基线最佳报告性能的一半。本研究使用的扩展数据集与代码已在 NAAP-440 仓库中公开。
引用
@article{arxiv.2211.12419,
title = {Accuracy Prediction for NAS Acceleration using Feature Selection and Extrapolation},
author = {Tal Hakim},
journal= {arXiv preprint arXiv:2211.12419},
year = {2022}
}