基于神经预测的零样本神经架构搜索的有效性
机器学习
2023-09-25 v3 人工智能
摘要
在基于预测的神经架构搜索(NAS)中，从图卷积网络导出的性能指标已展现出显著的成功。这些指标通过将前馈结构以独热编码表示为组件图来实现，但面临一个局限：无法跨不同搜索空间评估架构性能。相比之下，使用相同架构并随机初始化的手工性能指标(零样本 NAS)可泛化至多个搜索空间。针对此局限，我们提出了一种基于深度学习的零样本 NAS 新方法。我们的方法对卷积核采用正弦傅里叶和编码，从而能够构建与待评估架构结构相似的计算前馈图。这些编码可学习，并提供架构拓扑信息的全面视图。随后，一个配套的多层感知机(MLP)根据这些编码对架构进行排序。实验结果表明，我们的方法在 NAS-Bench-201 数据集上的相关性优于先前使用图卷积网络的方法，并展现出更高的收敛率。此外，我们在每个 NAS 基准上提取的特征表示可迁移至其他 NAS 基准，显示出跨多个搜索空间的良好泛化能力。代码见：https://github.com/minh1409/DFT-NPZS-NAS
引用
@article{arxiv.2308.16775,
title = {Efficacy of Neural Prediction-Based Zero-Shot NAS},
author = {Minh Le and Nhan Nguyen and Ngoc Hoang Luong},
journal= {arXiv preprint arXiv:2308.16775},
year = {2023}
}
备注
12 pages, 6 figures, submitted to IEEE-TNNLS