权重共享 NAS 中超网启发式的分析
机器学习
2021-10-05 v1
摘要
权重共享有望使神经架构搜索（NAS）即使在商用硬件上也变得可行。该领域现有方法依赖多种启发式来设计和训练共享权重的骨干网络，即超网（super-net）。由于启发式在不同方法间差异显著且尚未被细致研究，它们对超网训练乃至权重共享 NAS 算法的影响程度尚不清楚。本文中，我们将超网训练与搜索算法解耦，隔离出 14 个常用训练启发式，并在三个基准搜索空间上对其评估。我们的分析揭示，若干常用启发式对超网与独立模型性能间的相关性产生负面影响，而简单却常被忽视的因素（如恰当的超参数设置）是实现强劲性能的关键。借助该认识，我们展示了在超网得到恰当训练时，简单随机搜索可取得与复杂最先进 NAS 算法相竞争的性能。
引用
@article{arxiv.2110.01154,
title = {An Analysis of Super-Net Heuristics in Weight-Sharing NAS},
author = {Kaicheng Yu and René Ranftl and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2110.01154},
year = {2021}
}
备注
Accepted to T-PAMI