MTL-NAS：面向通用多任务学习的任务无关神经架构搜索
机器学习
2020-04-01 v1 计算机视觉与模式识别
机器学习
摘要
我们提出将神经架构搜索（NAS）融入通用多任务学习（GP-MTL）。现有的 NAS 方法通常根据不同的任务定义不同的搜索空间。为了适应不同的任务组合（即任务集），我们将 GP-MTL 网络解耦为单任务主干网络（可选地编码任务先验），以及跨主干网络的分层且逐层的特征共享/融合方案。这使我们能够设计一个新颖且通用的任务无关搜索空间，该空间将跨任务边（即特征融合连接）插入到固定的单任务网络主干中。此外，我们还提出了一种新颖的单次基于梯度的搜索算法，该算法缩小了搜索到的架构与最终评估架构之间的性能差距。这是通过在搜索阶段对架构权重施加最小熵正则化来实现的，这使得架构权重收敛到接近离散的值，从而获得单一模型。因此，我们搜索到的模型可以直接用于评估，而无需从头（重新）训练。我们使用不同的单任务主干网络在各种任务集上进行了大量实验，证明了利用分层和逐层特征所获得的优异性能，以及对不同的 i) 任务集和 ii) 单任务主干网络具有良好的泛化能力。本文代码可在 https://github.com/bhpfelix/MTLNAS 获取。
引用
@article{arxiv.2003.14058,
title = {MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning},
author = {Yuan Gao and Haoping Bai and Zequn Jie and Jiayi Ma and Kui Jia and Wei Liu},
journal= {arXiv preprint arXiv:2003.14058},
year = {2020}
}
备注
Accepted to CVPR2020. The first two authors contribute equally