理解Bregman散度的偏差-方差权衡
机器学习
2022-02-11 v2 机器学习
概率论
摘要
本文建立在Pfau (2013)的工作之上，其将偏差-方差权衡推广至任意Bregman散度损失函数。Pfau (2013)指出，对于Bregman散度，偏差与方差是相对于一个中心标签（定义为标签变量的均值）与一个形式更复杂的中心预测来定义的。我们表明，类似于标签，中心预测可解释为一个随机变量之均值，其中均值作用于由损失函数本身定义的的对偶空间中。通过对偶空间中的运算审视偏差-方差权衡，我们随后推导出若干有意义的结果。具体而言：(a) 方差项满足广义全方差定律；(b) 若某随机源不可控，其对偏差与方差的贡献具有闭式表达；(c) 在标签空间与预测空间中存在自然的集成操作，可减小方差且不影响偏差。
引用
@article{arxiv.2202.04167,
title = {Understanding the bias-variance tradeoff of Bregman divergences},
author = {Ben Adlam and Neha Gupta and Zelda Mariet and Jamie Smith},
journal= {arXiv preprint arXiv:2202.04167},
year = {2022}
}