通过独热编码与正则化增强梯度提升决策树的鲁棒性
机器学习
2023-05-12 v3 机器学习
摘要
梯度提升决策树（GBDT）是广泛用于表格数据建模且高效的机器学习方法。然而，其复杂结构可能导致对未见数据中微小协变量扰动的鲁棒性较低。在本研究中，我们应用独热编码将 GBDT 模型转换为线性框架，方法是将每棵树叶编码为一个哑变量。这允许使用线性回归技术，外加一种用于评估 GBDT 模型对协变量扰动鲁棒性的新风险分解。我们提出通过用 或 正则化重新拟合其线性回归形式来增强 GBDT 模型的鲁棒性。获得了关于正则化对模型性能与鲁棒性影响的理论结果。数值实验表明，所提正则化方法可增强独热编码 GBDT 模型的鲁棒性。
引用
@article{arxiv.2304.13761,
title = {Enhancing Robustness of Gradient-Boosted Decision Trees through One-Hot Encoding and Regularization},
author = {Shijie Cui and Agus Sudjianto and Aijun Zhang and Runze Li},
journal= {arXiv preprint arXiv:2304.13761},
year = {2023}
}