深度安全多任务学习
机器学习
2022-10-04 v2
摘要
近年来，多任务学习（MTL）因其在诸多应用中的良好表现而备受关注。然而，许多现有MTL模型无法保证其在每个任务上的性能不劣于对应的单任务模型。尽管一些工作已经验观察到该现象，但鲜有研究旨在处理由此产生的问题。本文将该现象正式定义为负迁移，并定义了不发生负迁移的安全多任务学习。为实现安全多任务学习，我们提出一种具有两种学习策略（独立学习与联合学习）的深度安全多任务学习（DSMTL）模型。我们从理论上研究了DSMTL模型中两种学习策略的安全性，表明所提方法可实现若干版本的安全多任务学习。此外，为提升DSMTL模型的可扩展性，我们提出一种扩展，其自动学习紧凑架构并经验性地实现了安全多任务学习。在基准数据集上的大量实验验证了所提方法的安全性。
引用
@article{arxiv.2111.10601,
title = {Deep Safe Multi-Task Learning},
author = {Zhixiong Yue and Feiyang Ye and Yu Zhang and Christy Liang and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2111.10601},
year = {2022}
}