权重共享能否优于随机架构搜索？基于 TuNAS 的一项研究
机器学习
2020-08-17 v1 计算机视觉与模式识别
机器学习
摘要
基于权重共享的高效神经架构搜索(NAS)方法在使计算机视觉模型的神经架构搜索民主化方面展现出良好前景。然而，关于这些高效方法是否显著优于随机搜索仍存在持续争论。在此，我们在 ImageNet 和 COCO 上针对图像分类与检测的一族逐步增大且更具挑战性的搜索空间，对高效搜索与随机搜索方法进行了透彻比较。尽管两种方法的效力依赖于具体问题，我们的实验表明存在高效搜索方法相对随机搜索可提供实质收益的大型现实任务。此外，我们提出并评估了若干技术，这些技术提升了搜索所得架构的质量并减少了对人工超参数调优的需求。源代码与实验数据可在 https://github.com/google-research/google-research/tree/master/tunas 获取。
引用
@article{arxiv.2008.06120,
title = {Can weight sharing outperform random architecture search? An investigation with TuNAS},
author = {Gabriel Bender and Hanxiao Liu and Bo Chen and Grace Chu and Shuyang Cheng and Pieter-Jan Kindermans and Quoc Le},
journal= {arXiv preprint arXiv:2008.06120},
year = {2020}
}
备注
Published at CVPR 2020