任务组相关性与正则化多任务学习的泛化界
机器学习
2014-08-29 v1
摘要
本文在向量值框架下研究了正则化多任务学习 (RMTL) 的泛化性能，其中多任务学习 (MTL) 被视为向量值函数的学习过程。我们主要关注两个理论问题：1) 在什么条件下，RMTL 在较小的任务样本量下表现优于单任务学习 (STL)？2) 在什么条件下，RMTL 具有泛化能力并能在同时学习过程中保证每个任务的一致性？具体而言，我们研究了两种类型的任务组相关性：观测差异依赖度量 (ODDM) 和经验差异依赖度量 (EDDM)，两者均检测多组相关任务 (MRTs) 之间的依赖性。随后，我们引入了基于笛卡尔积的一致熵数 (CPUEN) 来衡量向量值函数类的复杂度。通过将特定偏差和对称化不等式应用于向量值框架，我们获得了 RMTL 的泛化界，即至少存在一个任务在期望风险和经验风险之间具有较大经验差异这一事件的联合概率的上界。最后，我们提出了一个充分条件以保证同时学习过程中每个任务的一致性，并讨论了任务相关性如何影响 RMTL 的泛化性能。我们的理论发现回答了上述两个问题。
引用
@article{arxiv.1408.6617,
title = {Task-group Relatedness and Generalization Bounds for Regularized Multi-task Learning},
author = {Chao Zhang and Dacheng Tao and Tao Hu and Xiang Li},
journal= {arXiv preprint arXiv:1408.6617},
year = {2014}
}