KNAS：绿色神经架构搜索
机器学习
2021-11-29 v1
摘要
许多现有的神经架构搜索（NAS）方案依赖下游训练进行架构评估，这消耗了巨大的计算量。考虑到这些计算带来大量碳足迹，本文旨在探索一种绿色（即环境友好型）NAS 方案，其在无训练情况下评估架构。直观上，由架构本身诱导的梯度直接决定收敛与泛化结果。这促使我们提出梯度核假设：梯度可用作下游训练的粗粒度代理来评估随机初始化网络。为支持该假设，我们进行理论分析并发现一个与训练损失和验证性能具有良好相关性的实用梯度核。依据该假设，我们提出一种基于核的新架构搜索方法 KNAS。实验表明，在图像分类任务上 KNAS 取得了具竞争力的结果，且比“先训练后测试”范式快数个数量级。此外，极低的搜索成本使其得以广泛应用。所搜索网络还在两个文本分类任务上优于强基线 RoBERTA-large。代码见 \url{https://github.com/Jingjing-NLP/KNAS}。
引用
@article{arxiv.2111.13293,
title = {KNAS: Green Neural Architecture Search},
author = {Jingjing Xu and Liang Zhao and Junyang Lin and Rundong Gao and Xu Sun and Hongxia Yang},
journal= {arXiv preprint arXiv:2111.13293},
year = {2021}
}
备注
Accepted by ICML