多任务学习中学习任务关系的凸优化公式
机器学习
2012-03-19 v1 人工智能
机器学习
摘要
多任务学习是一种学习范式，旨在借助其他相关任务来提高学习任务的泛化性能。在本文中，我们提出了一种用于学习多任务中任务间关系的正则化公式。该公式可视为单任务学习正则化框架的一种新颖推广。除了建模正任务相关性外，我们的方法（称为多任务关系学习，MTRL）还能基于相同的基本原理描述负任务相关性并识别异常任务。在此正则化框架下，MTRL的目标函数是凸的。为了提高效率，我们使用交替方法来学习每个任务的最优模型参数以及任务间的关系。我们在对称多任务学习设置下研究MTRL，然后将其推广到非对称设置。我们还研究了MTRL与一些现有多任务学习方法之间的关系。在玩具问题以及几个基准数据集上进行的实验证明了MTRL的有效性。
引用
@article{arxiv.1203.3536,
title = {A Convex Formulation for Learning Task Relationships in Multi-Task Learning},
author = {Yu Zhang and Dit-Yan Yeung},
journal= {arXiv preprint arXiv:1203.3536},
year = {2012}
}
备注
Appears in Proceedings of the Twenty-Sixth Conference on Uncertainty in Artificial Intelligence (UAI2010)