SUM：用于时空数据预测的次优酉多任务学习框架
机器学习
2019-10-14 v1 机器学习
摘要
典型的时空数据预测多任务学习方法涉及低秩张量计算。然而，当任务数较少时此类方法性能相对较弱，且无法集成到非线性模型中。本文提出一种两步次优酉方法（SUM），将元学习策略结合进多任务模型。第一步，在约束下通过梯度下降优化通用参数以搜索全局模式，该模式作为一种地质正则化器使模型能用更少训练数据学习。第二步，我们从全局模式出发，仅用少量局部训练数据导出各特定任务上的优化模型。相比传统多任务学习方法，SUM 在远距离任务上展现泛化能力优势。它可应用于任何以梯度下降为优化器的多任务模型，无论预测函数是否线性。此外，我们可利用该模型使传统预测模型进行协同克里金（coKriging）。在公开数据集上的实验表明，当任务数较少时，我们的框架与当前多任务模型结合相比低秩张量学习具有明显更好的预测结果，且在调整当前预测模型用于协同克里金时我们的模型有相当令人满意的表现。
引用
@article{arxiv.1910.05150,
title = {SUM: Suboptimal Unitary Multi-task Learning Framework for Spatiotemporal Data Prediction},
author = {Qichen Li and Jiaxin Pei and Jianding Zhang and Bo Han},
journal= {arXiv preprint arXiv:1910.05150},
year = {2019}
}
备注
5 pages