GreedyNASv2: 使用贪心路径过滤器进行更贪心的搜索
计算机视觉与模式识别
2022-04-19 v2
摘要
在单次神经架构搜索（NAS）方法中训练一个好的超网是困难的，因为搜索空间通常非常大（例如，）。为了增强超网的评估能力，一种贪心策略是采样好的路径，让超网偏向这些好路径，从而减轻其评估负担。然而，在实践中，搜索可能仍然相当低效，因为对好路径的识别不够准确，并且采样的路径仍然分散在整个搜索空间中。在本文中，我们利用一个显式的路径过滤器来捕获路径的特征并直接过滤掉那些弱的路径，从而可以在收缩后的空间上更贪心、更高效地实施搜索。具体而言，基于空间中好路径远少于差路径这一事实，我们认为在多路径采样中，“差路径”的标签将比“好路径”的标签更可信、更可靠。通过这种方式，我们将路径过滤器的训练置于正例和无标记（PU）学习范式中，并鼓励使用一种路径嵌入作为更好的路径/操作表示，以增强所学过滤器的识别能力。借助这种嵌入，我们可以通过聚合具有相似嵌入的相似操作来进一步收缩搜索空间，从而使搜索更高效、更准确。大量实验验证了所提方法 GreedyNASv2 的有效性。例如，我们获得的 GreedyNASv2-L 在 ImageNet 数据集上达到了 的 Top-1 准确率，显著优于 ResNet-50 强基线。
引用
@article{arxiv.2111.12609,
title = {GreedyNASv2: Greedier Search with a Greedy Path Filter},
author = {Tao Huang and Shan You and Fei Wang and Chen Qian and Changshui Zhang and Xiaogang Wang and Chang Xu},
journal= {arXiv preprint arXiv:2111.12609},
year = {2022}
}
备注
Accepted to CVPR 2022