通过基于模型的数据生成改进预测规则集成
机器学习
2021-09-29 v1 机器学习
摘要
预测规则集成（PRE）提供具有相对较高精度的可解释预测模型。PRE从（提升的）决策树集成中获得大量决策规则，并通过应用Lasso惩罚回归实现稀疏性。本文考察使用代理模型以提升PRE性能，其中Lasso回归借助由（提升的）决策树集成生成的海量数据集训练。这种基于模型的数据生成可改善Lasso步骤的稳定性与一致性，从而提升整体性能。我们提出两种代理方法，并在模拟与现有数据集上就稀疏性与预测精度进行评估。结果表明，代理模型的使用可大幅改善PRE的稀疏性，同时保持预测精度，尤其通过嵌套代理方法。
引用
@article{arxiv.2109.13672,
title = {Improved prediction rule ensembling through model-based data generation},
author = {Benny Markovitch and Marjolein Fokkema},
journal= {arXiv preprint arXiv:2109.13672},
year = {2021}
}