使用新型反正切 Pinball Loss 的 XGBoost 复合分位回归
机器学习
2024-06-05 v1 机器学习
摘要
本文探讨了使用 XGBoost 进行复合分位回归。XGBoost 是一种极受欢迎的模型，因其灵活性、效率以及处理缺失数据的能力而闻名。优化器使用损失函数的二阶近似，这使得采用具有零或消失二阶导数的损失函数变得复杂。分位回归——一种在点估计alone 不足以获取条件分位时流行的做法——不幸使用了这种损失函数，即 Pinball Loss。现有的解决方法通常效率低下，可能导致严重的分位交叉。在本文中，我们提出了一种针对 XGBoost 需求的 Pinball Loss 的光滑近似，即反正切 Pinball Loss。具体而言，与其他光滑近似不同，反正切 Pinball Loss 具有相对较大的二阶导数，这使其更适用于二阶近似。使用该损失函数可实现对多个分位的同步预测，这更高效且导致严重的分位交叉显著减少。
引用
@article{arxiv.2406.02293,
title = {Composite Quantile Regression With XGBoost Using the Novel Arctan Pinball Loss},
author = {Laurens Sluijterman and Frank Kreuwel and Eric Cator and Tom Heskes},
journal= {arXiv preprint arXiv:2406.02293},
year = {2024}
}
备注
24 pages, 9 figures