超网如何助力神经架构搜索？
机器学习
2021-05-06 v2 计算机视觉与模式识别
神经与进化计算
摘要
权重共享作为一种加速架构性能估计的方法已受到广泛关注。与单独训练每个架构不同，权重共享构建一个超网，将所有架构作为其子模型组装起来。然而，由于超网优化与NAS目标之间的差距，关于NAS过程是否真正从权重共享中受益一直存在争议。为了进一步理解权重共享对NAS的影响，我们在五个搜索空间上进行了全面分析，包括NAS-Bench-101、NAS-Bench-201、DARTS-CIFAR10、DARTS-PTB和ProxylessNAS。我们发现权重共享在某些搜索空间上表现良好，但在其他空间上失效。更进一步，我们进一步识别了造成此类现象及权重共享能力的偏差。我们的工作有望启发未来的NAS研究者更好地利用权重共享的力量。
引用
@article{arxiv.2010.08219,
title = {How Does Supernet Help in Neural Architecture Search?},
author = {Yuge Zhang and Quanlu Zhang and Yaming Yang},
journal= {arXiv preprint arXiv:2010.08219},
year = {2021}
}
备注
Accepted by 2nd Workshop on Neural Architecture Search at ICLR 2021