基于神经架构比较器的对比式神经架构搜索
计算机视觉与模式识别
2021-04-07 v2
摘要
神经架构搜索（NAS）的关键步骤之一是估计候选架构的性能。现有方法要么直接使用验证性能，要么学习一个预测器来估计性能。然而，这些方法要么计算昂贵，要么非常不准确，可能严重影响搜索效率和性能。此外，由于很难用特定任务上的准确性能来标注架构，由于缺乏标注数据，学习一个有前景的性能预测器通常并非易事。本文认为，NAS可能无需估计绝对性能。相反，我们可能仅需了解一个架构是否优于基线架构。然而，如何利用此比较信息作为奖励，以及如何充分利用有限的标注数据，仍是两大挑战。本文提出一种新颖的对比式神经架构搜索（CTNAS）方法，通过将架构间的比较结果作为奖励来进行架构搜索。具体地，我们设计并学习了一个神经架构比较器（NAC）来计算候选架构优于基线架构的概率。此外，我们提出了一种基线更新方案，以课程学习的方式迭代改进基线。更关键的是，我们从理论上证明学习NAC等价于优化架构上的排序。在三个搜索空间中的大量实验证明了我们的CTNAS相对于现有方法的优越性。
引用
@article{arxiv.2103.05471,
title = {Contrastive Neural Architecture Search with Neural Architecture Comparators},
author = {Yaofo Chen and Yong Guo and Qi Chen and Minli Li and Wei Zeng and Yaowei Wang and Mingkui Tan},
journal= {arXiv preprint arXiv:2103.05471},
year = {2021}
}
备注
Accpeted by CVPR 2021. The code is available at https://github.com/chenyaofo/CTNAS