基于 SVM 模型的正则化多任务学习效能研究
机器学习
2022-02-22 v2 机器学习
摘要
本文研究基于 SVM（M-SVM）的正则化多任务学习（MTL）框架的效能，以回答 MTL 是否总能给出可靠结果以及 MTL 如何优于独立学习。我们首先发现 M-SVM 在大样本量极限下是贝叶斯风险一致的。这意味着尽管任务间存在差异，当数据量足够大时，M-SVM 总能为每个任务产生可靠的决策规则（就误分类误差而言）。此外，我们发现任务间交互随数据量趋于无穷而消失，且 M-SVM 与其单任务对应项的收敛速率具有相同上界。前者表明 M-SVM 无法改善极限分类器的性能；基于后者，我们推测当任务数固定时最优收敛速率未被改善。作为对 MTL 的新见解，我们的理论与实验结果高度一致地表明：MTL 方法的益处在于改善预收敛速率因子（PCR，将在第三节表示）而非收敛速率。而且，当数据量较小时，PCR 因子的这种改善更为显著。
引用
@article{arxiv.1805.12507,
title = {Efficacy of regularized multi-task learning based on SVM models},
author = {Shaohan Chen and Zhou Fang and Sijie Lu and Chuanhou Gao},
journal= {arXiv preprint arXiv:1805.12507},
year = {2022}
}
备注
12 pages, 4 figures