Bregman 散度界与对数损失的普适性性质
信息论
2020-01-03 v2 math.IT
摘要
损失函数衡量给定数据实例下真实值与其估计拟合之间的偏差。在分类问题中，若期望损失的极小化者为真实潜在概率，则称该损失函数为恰当损失。我们证明，对于二分类，与光滑、恰当且凸的损失函数相关的散度被 Kullback-Leibler（KL）散度上界所界，相差一个归一化常数。这意味着，通过最小化与 KL 散度相关的对数损失，我们最小化了一该类损失中任意选择损失的上界。因此，对数损失在针对广泛准确度度量提供性能保证的意义上是普适的。重要的是，这种普适性概念并非特定于问题，使其能用于多样应用，包括预测建模、数据聚类和样本复杂度分析。我们也给出了到任意有限字母表的推广。所导出的不等式推广了若干著名的 -散度结果。
引用
@article{arxiv.1810.07014,
title = {Bregman Divergence Bounds and Universality Properties of the Logarithmic Loss},
author = {Amichai Painsky and Gregory W. Wornell},
journal= {arXiv preprint arXiv:1810.07014},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1805.03804