可控帕累托多任务学习
机器学习
2021-02-16 v2 机器学习
摘要
多任务学习（MTL）系统旨在同时解决多个相关任务。在模型容量固定的情况下，各任务之间会相互冲突，系统通常不得不在联合学习所有任务时做出权衡。对于许多必须在线上进行权衡的现实应用，需要训练并存储多个对不同任务具有不同偏好的模型。本文提出了一种新颖的可控帕累托多任务学习框架，使系统能够利用单一模型在不同任务间进行实时权衡控制。具体而言，我们将 MTL 表述为一个偏好条件的多目标优化问题，并建立从偏好到相应权衡解的参量映射。我们构建了一个基于超网络的单一多任务神经网络，以学习具有不同权衡偏好的所有任务，其中超网络根据偏好生成模型参数。在推理时，MTL 从业者可以基于不同的权衡偏好轻松实时地控制模型性能。在不同应用上的实验表明，所提模型能高效求解各类 MTL 问题。
引用
@article{arxiv.2010.06313,
title = {Controllable Pareto Multi-Task Learning},
author = {Xi Lin and Zhiyuan Yang and Qingfu Zhang and Sam Kwong},
journal= {arXiv preprint arXiv:2010.06313},
year = {2021}
}