NRGBoost：能量基准生成式提升树
机器学习
2025-04-21 v2
摘要
尽管深度学习在非结构化数据领域取得主导地位，基于树的方法如随机森林（RF）和梯度提升决策树（GBDT）仍是处理表格数据判别任务的主力工具。我们探索了这些流行算法的生成式扩展，重点显式建模数据密度（即使归一化常数未知），从而实现除抽样之外的其他应用。作为我们的主要贡献，我们提出了一种能量基准生成式提升算法，类似于流行库如 XGBoost 中实现的二阶提升。我们展示了，尽管该算法产生的生成式模型能够处理对任意输入变量的推断任务，其提出的方法在多个真实世界表格数据集上可实现与 GBDT 相似的判别性能，优于替代性的生成方法。同时，我们也表明它在抽样方面与神经网络模型相当。代码已公开于 https://github.com/ajoo/nrgboost。
引用
@article{arxiv.2410.03535,
title = {NRGBoost: Energy-Based Generative Boosted Trees},
author = {João Bravo},
journal= {arXiv preprint arXiv:2410.03535},
year = {2025}
}