Wasserstein梯度提升：面向分布值监督学习的框架
统计方法学
2024-08-30 v2 机器学习
机器学习
摘要
梯度提升是一种顺序性集成方法，旨在拟合每个迭代中伪残差的新的弱学习器。我们提出Wasserstein梯度提升，这是梯度提升的一个新颖扩展，拟合新的弱学习器以拟合 Wasserstein梯度的伪残差，这些梯度是为每个输入分配的概率分布的损失函数的梯度。它解决了分布值监督学习的问题，即训练数据集中每个输入的输出值是概率分布。在分类和回归中，模型通常返回每个输入的噪声分布参数的点估计，这些参数是为响应变量指定的噪声分布，如分类分布的类别概率参数。Wasserstein梯度提升在本文中主要应用于基于树的证据学习，它返回每个输入的响应参数分布估计。我们经验性地展示了与现有不确定性量化方法相比，Wasserstein梯度提升在概率预测方面的优越性能。
关键词
引用
@article{arxiv.2405.09536,
title = {Wasserstein Gradient Boosting: A Framework for Distribution-Valued Supervised Learning},
author = {Takuo Matsubara},
journal= {arXiv preprint arXiv:2405.09536},
year = {2024}
}