任务-特征协同学习及其在个性化属性预测中的应用
机器学习
2020-04-30 v1 机器学习
摘要
作为一种针对训练样本不足的有效学习范式,多任务学习(Multi-Task Learning, MTL)鼓励在多个相关任务间共享知识,从而提升整体性能。在MTL中,一个主要挑战源于与 dissimilar 且困难的任务共享知识(称为负迁移)往往导致性能下降的现象。尽管已有大量研究致力于应对负迁移,现有方法大多仅将迁移关系建模为任务相关性,而未考虑跨特征与任务的迁移。与现有方法不同,我们的目标是在特征与任务层面协同缓解负迁移。为此,我们提出一种称为任务-特征协同学习(Task-Feature Collaborative Learning, TFCL)的新型多任务学习方法。具体而言,我们首先提出一个带有异质块对角结构正则化器的基模型,以利用特征与任务的协同分组并抑制组间知识共享。随后我们提出该模型的优化方法。大量理论分析表明,我们所提方法具有以下优势:(a) 具备全局收敛性质;(b) 提供块对角结构恢复保证。作为实际扩展,我们通过允许特征重叠并区分困难任务来扩展基模型。我们进一步将其应用于个性化属性预测问题,并对用户行为进行细粒度建模。最后,在模拟数据集与真实世界数据集上的实验结果证明了我们所提方法的有效性。
引用
@article{arxiv.2004.13930,
title = {Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction},
author = {Zhiyong Yang and Qianqian Xu and Xiaochun Cao and Qingming Huang},
journal= {arXiv preprint arXiv:2004.13930},
year = {2020}
}
备注
To appear in T-PAMI