稀疏异质性下的最优多任务线性回归与上下文赌博机

大型复杂数据集常采集自若干可能异质的数据源。多任务学习方法通过利用跨数据集的共性并考虑其间可能的差异来提升效率。在此，我们研究稀疏异质性下的多任务线性回归与上下文赌博机，其中源/任务关联参数等于一个全局参数加上稀疏的任务特定项。我们提出一种称为MOLAR的新型两阶段估计器，其利用该结构：首先构造任务级线性回归估计的协变量加权中位数，随后将任务级估计向该加权中位数收缩。与任务级最小二乘估计相比，MOLAR改善了估计误差对数据维度的依赖。文中讨论了MOLAR在广义线性模型及构造置信区间方面的扩展。我们随后将MOLAR应用于开发稀疏异质多任务上下文赌博机方法，相较单任务赌博机方法获得了改进的悔值保证。我们进一步通过给出若干下界证明所提方法为极小极大最优。最后，我们在合成数据及来自异质国家的学生教育结果的PISA数据集上实验，支撑了方法的效率。