用于不确定性量化的分位数极端梯度提升
机器学习
2023-04-25 v1 机器学习
摘要
近年来，随着数据的可用性、规模和复杂性的增加，机器学习 (ML) 技术在建模中变得流行。应用 ML 模型得到的预测常用于推断、决策和下游应用。ML 中一个关键但常被忽视的方面是不确定性量化，它会显著影响模型预测的使用和解释方式。极端梯度提升 (XGBoost) 是最受欢迎的 ML 方法之一，因其实现简单、计算快速和顺序学习，使其预测相比其他方法高度准确。然而，针对 XGBoost 等 ML 模型的不确定性确定技术在其不同应用中尚未达成普遍共识。我们提出对 XGBoost 的改进，即使用修正的分位数回归作为目标函数来估计不确定性 (QXGBoost)。具体而言，我们在分位数回归模型中引入 Huber 范数，以构造分位数回归误差函数的可微近似。这一关键步骤使得使用基于梯度的优化算法的 XGBoost 能够高效地做出概率预测。QXGBoost 被应用于对一个模拟数据集和一个实测交通噪声的真实环境数据集建立 90% 预测区间。我们提出的方法性能与常规和分位数轻量梯度提升所生成的不确定性估计相当或更好。对于模拟和交通噪声数据集，基于覆盖宽度准则，QXGBoost 预测区间的总体性能均优于其他模型。
引用
@article{arxiv.2304.11732,
title = {Quantile Extreme Gradient Boosting for Uncertainty Quantification},
author = {Xiaozhe Yin and Masoud Fallah-Shorshani and Rob McConnell and Scott Fruin and Yao-Yi Chiang and Meredith Franklin},
journal= {arXiv preprint arXiv:2304.11732},
year = {2023}
}
备注
15 pages, 7 figures and 4 tables