符号正则化的多任务学习
机器学习
2021-02-23 v1
摘要
多任务学习是一种强制不同学习任务共享知识以提升其泛化性能的框架。这是一个活跃且热门的领域，致力于处理若干核心问题；特别是，哪些任务是相关且相似的，以及如何在相关任务间共享知识。由于存在三个主要技术挑战：1) 优化对特征权重极性进行正则化的模型，2) 决定是否正则化符号或幅值，3) 识别哪些任务应共享其符号和/或幅值模式，现有工作通常不区分特征权重的极性与大小，且普遍依赖于线性相关性。为应对这些挑战，本文提出一种新的多任务学习框架，能够跨任务正则化特征权重符号。我们创新性地将其表述为带松弛变量的双凸不等式约束优化问题，并提出一种高效的新算法来求解该优化问题，在泛化性能与收敛性上提供理论保证。在多个数据集上的大量实验证明了所提方法的有效性、高效性以及正则化特征权重模式的合理性。
引用
@article{arxiv.2102.11191,
title = {Sign-regularized Multi-task Learning},
author = {Johnny Torres and Guangji Bai and Junxiang Wang and Liang Zhao and Carmen Vaca and Cristina Abad},
journal= {arXiv preprint arXiv:2102.11191},
year = {2021}
}
备注
17 pages, 4 figures, v1