提升的CVaR分类

许多现代机器学习任务要求模型具有高尾部性能，即对数据集中最差样本具有高性能。该问题已在算法公平性、类别不平衡和风险敏感决策等领域被广泛研究。最大化模型尾部性能的一种流行方法是最小化CVaR（条件风险价值）损失，该损失计算损失尾部上的平均风险。然而，对于以零一损失评估模型的分类任务，我们表明若分类器是确定性的，则平均零一损失的最小化器也最小化CVaR零一损失，这意味着在没有额外假设的情况下CVaR损失最小化并无助益。我们通过最小化随机化分类器上的CVaR损失规避了这一负面结果，对于随机化分类器，平均零一损失与CVaR零一损失的最小化器不再相同，因此最小化后者可带来更好的尾部性能。为学习此类随机化分类器，我们提出了提升的CVaR分类（Boosted CVaR Classification）框架，其动机在于CVaR与一种称为LPBoost的经典提升算法之间的直接关系。基于该框架，我们设计了一种称为$\alpha$-AdaLPBoost的算法。我们在四个基准数据集上对所提算法进行了实证评估，表明其比确定性模型训练方法实现了更高的尾部性能。