关于序回归方法的一致性

文献中提出的许多序回归模型可被视为最小化零一损失、绝对损失或平方损失函数的凸代理（surrogate）的方法。研究此类近似统计含义的一个关键性质是 Fisher 一致性。Fisher 一致性是代理损失函数的一个理想性质，它意味着在总体设定下（即如果生成数据的概率分布已知），优化代理函数将产生最佳可能模型。在本文中，我们将刻画序回归背景下使用的一系列丰富代理损失函数的 Fisher 一致性，包括支持向量序回归、ORBoosting 和最小绝对偏差。我们将看到，对于包含支持向量序回归和 ORBoosting 的代理损失函数族，其一致性可以完全由一个实值函数在零点的导数来刻画，这与二分类中基于凸间隔的代理情况类似。我们还推导了绝对误差代理的过剩风险界，推广了现有的二分类风险界。最后，我们的分析提出了一种新颖的平方误差损失代理。我们在 9 个不同的数据集上将此新颖代理与竞争方法进行了比较。结果表明，我们的方法在实践中具有高度竞争力，在 9 个数据集中的 7 个上优于最小二乘损失。