基于 GP-NAS 堆叠集成模型预测 NAS 多任务

Ke Zhang

基于 GP-NAS 堆叠集成模型预测 NAS 多任务

机器学习 2023-05-04 v1 计算机视觉与模式识别应用统计统计计算

作者: Ke Zhang

摘要

以少量样本训练准确预测架构性能是一项重要但不容易的任务。如何分析与训练数据集以克服过拟合是我们需要解决的核心问题。同时，若存在多任务问题，我们还应考虑能否利用它们之间的相关性并尽可能快地进行估计。在这一赛道中，Super Network 基于 ViT-Base 构建了搜索空间。该搜索空间包含深度、头数、mpl-ratio 与嵌入维度。我们首先基于对该问题的理解对数据进行了预处理，以降低问题复杂度和过拟合概率。随后我们尝试了不同种类的模型以及不同的组合方式。最终我们选择了使用 GP-NAS 与交叉验证的堆叠集成模型。我们的堆叠模型在 CVPR 2022 Track 2 Challenge 中排名第 1。

关键词

神经架构搜索多任务预测堆叠集成 GP-NAS ViT-Base 交叉验证性能预测

引用

@article{arxiv.2305.01667,
  title  = {Predict NAS Multi-Task by Stacking Ensemble Models using GP-NAS},
  author = {Ke Zhang},
  journal= {arXiv preprint arXiv:2305.01667},
  year   = {2023}
}

备注

Ranked 1st in CVPR 2022 Track 2 Challenge, GP-NAS, Stacking Model, Ensemble Model

基于 GP-NAS 堆叠集成模型预测 NAS 多任务

摘要

关键词

引用

备注

相关论文