锥多任务分类
机器学习
2014-08-21 v1
摘要
传统上，多任务学习（Multi-task Learning, MTL）模型优化的是任务相关目标函数的平均值，这是一种直观的方法，我们将其称为平均多任务学习（Average MTL）。然而，通过考虑目标函数的锥组合（conic combinations），可以构建一个更通用的框架，称为锥多任务学习（Conic MTL）；在此框架下，当所有组合系数均为 1 时，平均多任务学习即成为一个特例。尽管先前的工作已在实验中证明了锥多任务学习优于平均多任务学习，但迄今为止尚未提供理论依据。在本文中，我们推导了锥多任务学习方法的泛化界，并证明了当所有组合系数均为 1 时，未必能获得最紧的界；因此，平均多任务学习可能并非总是最优选择，考虑锥多任务学习至关重要。作为泛化界的副产品，本文也从理论上解释了先前相关工作中良好的实验结果。最后，我们提出了一种新的锥多任务学习模型，其锥组合系数旨在最小化泛化界，而非像先前方法那样启发式地选择它们。通过与几种其他方法的比较，一系列实验展示并验证了我们模型的原理与优势。
引用
@article{arxiv.1408.4714,
title = {Conic Multi-Task Classification},
author = {Cong Li and Michael Georgiopoulos and Georgios C. Anagnostopoulos},
journal= {arXiv preprint arXiv:1408.4714},
year = {2014}
}
备注
Accepted by European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECMLPKDD)-2014