多类损失矩阵的凸校准维数
机器学习
2015-08-25 v2 机器学习
摘要
我们研究了由一般多类损失矩阵定义的一般多类学习问题中代理损失函数的一致性性质。我们将分类校准的概念(此前已针对二类和多类 0-1 分类问题以及某些其他特定学习问题进行了研究)推广到一般多类设定,并推导了在此设定下代理损失相对于损失矩阵实现校准的充要条件。随后,我们引入了多类损失矩阵的凸校准维数概念,该概念度量了能够设计出相对于该损失矩阵校准的凸代理所需的预测空间的最小“规模”。我们推导了该量的上下界,并利用这些结果分析了各种损失矩阵。特别是,我们应用该框架研究了各种子集排序损失,并利用凸校准维数作为工具,证明了针对这些损失存在或不存在各种类型的凸校准代理。我们的结果加强了 Duchi 等人 (2010) 和 Calauzenes 等人 (2012) 关于子集排序中某些类型凸校准代理不存在的近期结果。我们预期凸校准维数将成为研究和设计用于一般多类学习问题的代理损失的有用工具。
引用
@article{arxiv.1408.2764,
title = {Convex Calibration Dimension for Multiclass Loss Matrices},
author = {Harish G. Ramaswamy and Shivani Agarwal},
journal= {arXiv preprint arXiv:1408.2764},
year = {2015}
}
备注
Accepted to JMLR, pending editing