带有先验信息的多任务学习

多任务学习旨在利用多个相关任务中包含的信息同时提升它们的泛化性能。在本文中，我们提出一种多任务学习框架，其中我们利用关于特征之间关系的先验知识。我们还对每个特定特征的系数变化施加惩罚，以确保相关任务在它们共享的公共特征上具有相似的系数。此外，我们通过组稀疏性捕获一组公共特征。目标被表述为一个非光滑凸优化问题，可用多种方法求解，包括固定步长的梯度下降法、带回溯的迭代收缩阈值算法（ISTA）及其变体——快速迭代收缩阈值算法（FISTA）。鉴于上述方法的次线性收敛速率，我们提出一种具有理论保证的渐近线性收敛算法。在真实世界数据集上的回归和分类任务的实证实验表明，我们提出的算法能够提升多个相关任务的泛化性能。