GRASP-GCN：基于图-形状优先排序的神经网络架构搜索方法
计算机视觉与模式识别
2024-05-14 v1 机器学习
摘要
神经网络架构搜索（NAS）方法显示出大幅超越人类设计网络的性能。然而，传统 NAS 方法大多针对单一数据集进行，导致在为每个新数据集重新运行时产生巨大的计算成本。本文聚焦于基于预测器的方法，提出一种简单且高效的方式来提高其在数据分布迁移情况下的预测性能。我们利用 Kronecker 积作用于随机接线搜索空间，创建由在四个不同数据集上训练的网络组成的小型 NAS 基准。为提高其泛化能力，我们提出了 GRASP-GCN，这是一种排名 Graph Convolutional Network（图卷积网络），它将神经网络层的形状作为额外输入。GRASP-GCN 使用非收敛准确率进行训练，提升了 Cifar-10 上 3.3% 的 SOTA，并在数据分布迁移下进一步增强了泛化能力。
引用
@article{arxiv.2405.06994,
title = {GRASP-GCN: Graph-Shape Prioritization for Neural Architecture Search under Distribution Shifts},
author = {Sofia Casarin and Oswald Lanz and Sergio Escalera},
journal= {arXiv preprint arXiv:2405.06994},
year = {2024}
}