关于替代损失函数与 $f$-散度
统计理论
2009-09-29 v2 信息论
math.IT
统计理论
摘要
二分类的目标是从协变量向量及相应二值标签的观测中估计判别函数 。我们考虑该问题的一个推广，其中协变量不能直接获得，而是经过降维量化器 变换。我们给出损失函数的条件，使得在判别函数与量化器均被估计时经验风险最小化能给出贝叶斯一致性。这些条件以损失函数与一类称为 Ali-Silvey 或 -散度泛函的泛函之间的普遍对应形式给出。虽然 Blackwell [Proc. 2nd Berkeley Symp. Probab. Statist. 1 (1951) 93--102. Univ. California Press, Berkeley] 对 0--1 损失建立了该对应，我们将其推广到在二分类贝叶斯一致性一般理论中起关键作用的更广泛的替代损失函数类。我们的结果使得能够挑选出在判别函数与量化器联合估计时给出贝叶斯一致性的替代损失函数的（严格）子集。
引用
@article{arxiv.math/0510521,
title = {On surrogate loss functions and $f$-divergences},
author = {XuanLong Nguyen and Martin J. Wainwright and Michael I. Jordan},
journal= {arXiv preprint arXiv:math/0510521},
year = {2009}
}
备注
Published in at http://dx.doi.org/10.1214/08-AOS595 the Annals of Statistics (http://www.imstat.org/aos/) by the Institute of Mathematical Statistics (http://www.imstat.org)