基于多任务神经模型搜索的迁移学习

深度学习模型需要大量的架构设计探索和超参数优化，以在给定任务上表现良好。模型设计空间的探索通常由人类专家完成，并使用网格搜索与搜索启发式方法在大量可能选择中进行优化。神经架构搜索（Neural Architecture Search, NAS）是一种被提出用于自动化架构设计的强化学习方法。NAS 已成功应用于生成可与最佳人类设计架构相媲美的神经网络。然而，NAS 需要采样、构建和训练数百至数千个模型才能获得性能良好的架构。对于每个新任务，该过程都需要从头开始执行。将 NAS 应用于广泛任务目前缺乏一种跨任务迁移可泛化知识的方法。在本文中，我们提出多任务神经模型搜索（Multitask Neural Model Search, MNMS）控制器。我们的目标是学习一个可泛化框架，该框架能够根据先前已见任务的成功模型搜索来调节模型构建，从而显著加速新任务的搜索。我们证明 MNMS 可以同时为多个任务进行自动化架构搜索，同时仍为每个任务学习性能良好且专用的模型。然后我们展示预训练的 MNMS 控制器可以将学习迁移到新任务。通过利用先前搜索的知识，我们发现预训练的 MNMS 模型从搜索空间中更好的位置出发，并减少在未见任务上的搜索时间，同时仍能发现优于已发表的人类设计模型的模型。