基于Gumbel-Softmax先验的变分多任务学习
机器学习
2021-11-10 v1
摘要
多任务学习旨在利用任务相关性来改进各个任务，在每项任务仅有有限数据可用的挑战性场景中尤为重要。为应对该挑战，我们提出变分多任务学习（VMTL），一种用于学习多个相关任务的通用概率推断框架。我们将多任务学习视为变分贝叶斯推断问题，通过指定先验以统一方式探索任务相关性。为将共享知识融入每项任务，我们将某任务的先验设计为其他相关任务的变分后验的可学习混合，并通过Gumbel-Softmax技术学习。与以往方法不同，我们的VMTL可通过联合推断表征与分类器的后验，以原则性方式利用任务相关性于二者。这使各任务能充分利用相关任务提供的归纳偏置，从而提升所有任务的总体性能。实验结果表明，所提VMTL能有效应对分类与回归中训练数据有限的多种挑战性多任务学习设置。我们的方法持续超越以往方法（包括强贝叶斯方法），并在五个基准数据集上取得最先进性能。
引用
@article{arxiv.2111.05323,
title = {Variational Multi-Task Learning with Gumbel-Softmax Priors},
author = {Jiayi Shen and Xiantong Zhen and Marcel Worring and Ling Shao},
journal= {arXiv preprint arXiv:2111.05323},
year = {2021}
}
备注
19 pages, 6 figures, accepted by NeurIPS 2021