基于递归最小二乘与递归核方法的在线多任务学习
机器学习
2024-03-19 v2 机器学习
摘要
本文提出两种用于在线多任务学习（MTL）回归问题的新方法。我们采用高性能的基于图的 MTL 公式，并基于加权递归最小二乘（WRLS）与在线稀疏最小二乘支持向量回归（OSLSSVR）策略开发了两种替代递归版本。借助任务堆叠变换，我们证明了存在一个单一矩阵，该矩阵融合了多任务间的关系，并为 MT-WRLS 方法在其初始化过程、以及 MT-OSLSSVR 在其多任务核函数中提供结构信息。与主要基于在线梯度下降（OGD）或三次不精确方法的现有文献不同，我们实现了精确与近似递归，其每样本代价在输入空间维度（MT-WRLS）或实例字典大小（MT-OSLSSVR）上呈二次依赖。我们将所提在线 MTL 方法与其他竞争方法在真实风速预测案例研究中比较，证明了两种方法的性能均有显著提升。
引用
@article{arxiv.2308.01938,
title = {Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods},
author = {Gabriel R. Lencione and Fernando J. Von Zuben},
journal= {arXiv preprint arXiv:2308.01938},
year = {2024}
}