基于实例的梯度提升回归树不确定性估计
机器学习
2022-10-12 v2
摘要
梯度提升回归树（GBRTs）在解决表格回归问题时极为流行，但无法提供不确定性估计。我们提出基于实例的梯度提升回归树不确定性估计（IBUG），这是一种将任意 GBRT 点预测器扩展为产生概率预测的简便方法。IBUG 利用 个最近训练实例计算预测周围的非参数分布，其中距离由树集成核度量。IBUG 的运行时间取决于集成中每个叶节点上的训练样本数，并可通过采样树或训练实例来改进。在实证上，我们发现 IBUG 在 22 个基准回归数据集上取得了与先前最优（state-of-the-art）相似或更好的性能。我们还发现 IBUG 可通过使用不同的基础 GBRT 模型获得改进的概率性能，并且比竞争方法能更灵活地建模预测的后验分布。我们还发现先前的方法在某些数据集上概率校准较差，可使用在验证数据上调优的标量因子来缓解。源代码见 https://www.github.com/jjbrophy47/ibug。
引用
@article{arxiv.2205.11412,
title = {Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees},
author = {Jonathan Brophy and Daniel Lowd},
journal= {arXiv preprint arXiv:2205.11412},
year = {2022}
}
备注
26 pages, 7 figures, 3 tables, and 3 algorithms. Accepted at NeurIPS 2022