NASI：初始化时与标签和数据无关的神经网络架构搜索
机器学习
2022-04-26 v2 人工智能
摘要
近年来，神经网络架构搜索（NAS）引起了广泛关注。人们提出了多种算法来提高 NAS 的搜索效率与有效性，即分别降低搜索成本并提升所选架构的泛化性能。然而，这些算法的搜索效率严重受限于搜索过程中对模型训练的需求。为克服该限制，我们提出了一种称为初始化时神经网络架构搜索（NASI）的新颖 NAS 算法，其利用神经正切核（Neural Tangent Kernel）能够在初始化时刻画候选架构收敛后性能的能力，从而完全避免模型训练以提升搜索效率。除提升的搜索效率外，NASI 在 CIFAR-10/100 和 ImageNet 等多种数据集上也取得了具竞争力的搜索有效性。进一步，NASI 在温和条件下被证明与标签和数据无关，这保证了由我们的 NASI 所选架构在不同数据集上的可迁移性。
引用
@article{arxiv.2109.00817,
title = {NASI: Label- and Data-agnostic Neural Architecture Search at Initialization},
author = {Yao Shu and Shaofeng Cai and Zhongxiang Dai and Beng Chin Ooi and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2109.00817},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022