共享与否：对权重共享的全面评估
机器学习
2020-05-19 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
权重共享（WS）近来作为一种加速高效神经架构自动搜索的范式而出现，该过程被称为神经架构搜索（NAS）。尽管颇具吸引力，该框架并非没有缺点，已有若干工作开始质疑其在小型手工基准上的能力。在本文中，我们利用 \nasbench 数据集来挑战 WS 在具有代表性的搜索空间上的效率。通过将一种 SOTA WS 方法与朴素随机搜索进行比较，我们表明，尽管使用权重共享的评估与独立评估之间存在不错的相关性，WS 仅在极少数情况下对 NAS 有显著帮助。我们特别强调了搜索空间本身对收益的影响。
引用
@article{arxiv.2002.04289,
title = {To Share or Not To Share: A Comprehensive Appraisal of Weight-Sharing},
author = {Aloïs Pourchot and Alexis Ducarouge and Olivier Sigaud},
journal= {arXiv preprint arXiv:2002.04289},
year = {2020}
}