显著性正则化的深度多任务学习

多任务学习是一种强制多个学习任务共享知识以提升其泛化能力的框架。浅层多任务学习虽能学习任务关系，但只能处理预定义特征。现代深度多任务学习可联合学习潜在特征与任务共享，但任务关系不明确。此外，它们预定义哪些层和神经元应在任务间共享，无法自适应学习。为应对这些挑战，本文提出一种新的多任务学习框架，通过互补现有浅层与深度多任务学习场景的优势，联合学习潜在特征与显式任务关系。具体而言，我们提出将任务关系建模为任务输入梯度之间的相似性，并从理论上分析了其等价性。此外，我们创新性地提出一种通过新正则化项显式学习任务关系的多任务学习目标。理论分析表明，得益于所提正则化项，泛化误差得以降低。在多个多任务学习与图像分类基准上的大量实验证明了所提方法在有效性、高效性以及所学任务关系模式的合理性方面的优势。