迁移 NAS：基于 Transformer 智能体在搜索空间间进行知识迁移
机器学习
2019-06-20 v1 机器学习
摘要
神经架构搜索（NAS）的最新进展已在多个任务上产生了最先进的架构。NAS 将人类专家从直接开发新颖架构的努力转向设计架构搜索空间以及高效探索它们的方法。搜索空间的定义捕获了关于架构属性的先验知识，并且它对搜索算法的复杂度和性能至关重要。然而，不同的搜索空间定义需要从头开始重新启动学习过程。我们提出了一种基于 Transformer 的新型智能体，支持在多个搜索空间和任务之间进行联合训练与先验知识的高效迁移。
引用
@article{arxiv.1906.08102,
title = {Transfer NAS: Knowledge Transfer between Search Spaces with Transformer Agents},
author = {Zalán Borsos and Andrey Khorlin and Andrea Gesmundo},
journal= {arXiv preprint arXiv:1906.08102},
year = {2019}
}
备注
6th ICML Workshop on Automated Machine Learning