对比自监督神经架构搜索
计算机视觉与模式识别
2021-11-09 v3 人工智能
摘要
本文提出一种新颖的基于单元的神经架构搜索算法(NAS),其完全缓解了从监督学习继承而来的昂贵数据标注成本。我们的算法利用了自监督学习对图像表示的有效性,这是计算机视觉中日益关键的话题。首先,在对比自监督学习下仅使用少量无标签训练数据,使我们能够在更广阔的搜索空间上搜索,发现更好的神经架构而不激增计算资源。其次,我们在搜索阶段完全免除标注数据成本(通过对比损失),且不损害架构在评估阶段的最终性能。最后,我们通过树状Parzen估计器(SMBO-TPE)的序贯基于模型的优化来处理NAS问题固有的离散搜索空间,从而显著减少计算开销响应面。大量实验经验性地表明,我们的搜索算法能在数据标注成本、搜索时间和最终验证精度方面以更好效率取得最先进结果。
引用
@article{arxiv.2102.10557,
title = {Contrastive Self-supervised Neural Architecture Search},
author = {Nam Nguyen and J. Morris Chang},
journal= {arXiv preprint arXiv:2102.10557},
year = {2021}
}