间隔损失的偏差-方差分解
机器学习
2022-04-27 v1 机器学习
摘要
我们针对一系列严格凸间隔损失引入了一种新颖的偏差-方差分解，包括逻辑损失（由经典 LogitBoost 算法最小化）、平方间隔损失以及标准提升损失。此外，我们证明，对于所有严格凸间隔损失，期望风险可分解为一个“中心”模型的风险，以及一个量化函数间隔相对于训练数据变化的变异项。这些分解为从业者理解模型过拟合/欠拟合提供了一种诊断工具，并对加性集成模型具有启示意义——例如，当我们的偏差-方差分解成立时，存在相应的“模糊性”分解，可用于量化模型多样性。
引用
@article{arxiv.2204.12155,
title = {Bias-Variance Decompositions for Margin Losses},
author = {Danny Wood and Tingting Mu and Gavin Brown},
journal= {arXiv preprint arXiv:2204.12155},
year = {2022}
}
备注
Supplementary material included