骰子与游戏：广义提升理论
机器学习
2024-12-12 v1 机器学习
摘要
代价敏感损失函数在许多现实预测问题中至关重要，其中不同类型错误的惩罚程度不同；例如在医学诊断中，假阴性预测可能导致比假阳性预测更严重的后果。然而，传统的PAC学习理论主要关注对称的0-1损失，对代价敏感损失涉及甚少。在本工作中，我们将著名的提升理论扩展以纳入代价敏感和多目标损失。代价敏感损失为混淆矩阵的条目分配代价，用于控制考虑每种错误类型代价的预测误差总和。多目标损失则同时追踪多个代价敏感损失，当目标需要同时满足多个准则时（例如最小化假阳性同时将假阴性控制在临界阈值以下）非常有用。我们发展了一套完整的代价敏感和多目标提升理论，提供了一个弱学习保证的分类体系，区分哪些保证是平凡的（即总能实现）、哪些是可提升的（即蕴含强学习）、以及哪些是中间保证，意味着非平凡但非任意精确的学习。对于二分类问题，我们建立了一个二分法：弱学习保证要么是平凡的，要么是可提升的。在多分类设定中，我们描述了一个更为复杂的中间弱学习保证景观。我们的刻画依赖于提升的几何解释，揭示了代价敏感损失与多目标损失之间惊人的等价性。
引用
@article{arxiv.2412.08012,
title = {Of Dice and Games: A Theory of Generalized Boosting},
author = {Marco Bressan and Nataly Brukhim and Nicolò Cesa-Bianchi and Emmanuel Esposito and Yishay Mansour and Shay Moran and Maximilian Thiessen},
journal= {arXiv preprint arXiv:2412.08012},
year = {2024}
}