分段线性集成模型的联合优化
机器学习
2024-09-02 v3
摘要
树集成模型在众多预测任务中取得了最先进的性能。我们提出了分段线性集成模型的联合优化(JOPLEn),该算法在现有树集成模型的所有叶节点上联合拟合分段线性模型。除了增强集成模型的表达能力外,JOPLEn 还允许将多种常见惩罚项(包括稀疏性促进惩罚和子空间范数)应用于非线性预测。例如,带有核范数惩罚的 JOPLEn 可以学习子空间对齐函数。此外,JOPLEn(与 Dirty LASSO 惩罚结合)是多任务学习中非线性预测的有效特征选择方法。最后,我们在 153 个回归和分类数据集上,使用多种惩罚项,展示了 JOPLEn 的性能。与标准随机森林和提升树集成模型以及其他增强树集成模型的方法相比,JOPLEn 均能带来更优的预测性能。
关键词
引用
@article{arxiv.2405.00303,
title = {Joint Optimization of Piecewise Linear Ensembles},
author = {Matt Raymond and Angela Violi and Clayton Scott},
journal= {arXiv preprint arXiv:2405.00303},
year = {2024}
}
备注
7 pages, 4 figures, accepted to IEEE MLSP 2024 While preparing the code release, we found minor bugs in the penalty gradient computation and the validation set preprocessing. Fixing these bugs provides the updated results shown in Figure 1 and Section 3.1. The conclusions of the paper remain the same