基于局部性自监督学习的神经架构搜索控制器预训练
机器学习
2021-03-16 v1
摘要
神经架构搜索（NAS）已推动了机器学习的多个领域。尽管其贡献显著，许多人批评其高计算成本的内在局限性。我们旨在通过提出一种可普遍应用于基于控制器的 NAS 的预训练方案来改善这一点。我们的方法，即基于局部性的自监督分类任务，利用网络架构的结构相似性来获得良好的架构表示。我们将该方法融入神经架构优化（NAO）中以分析预训练嵌入及其有效性，并强调加入度量学习损失对 NAS 带来有利影响。我们的代码可在 \url{https://github.com/Multi-Objective-NAS/self-supervised-nas} 获取。
引用
@article{arxiv.2103.08157,
title = {Pretraining Neural Architecture Search Controllers with Locality-based Self-Supervised Learning},
author = {Kwanghee Choi and Minyoung Choe and Hyelee Lee},
journal= {arXiv preprint arXiv:2103.08157},
year = {2021}
}
备注
Accepted to NeurIPS 2020 Workshop: Self-Supervised Learning - Theory and Practice