PLUTO:惩罚无偏逻辑回归树
机器学习
2014-11-26 v1 统计方法学
摘要
我们提出了一种名为 PLUTO 的新算法,用于构建针对二分类响应数据的逻辑回归树。PLUTO 通过递归划分样本空间,能够捕捉杂乱数据中的非线性和交互模式。它在每个划分区域内拟合简单或多重线性逻辑回归模型。PLUTO 采用循环坐标下降法来估计带有弹性网络惩罚项的多重线性逻辑回归模型,从而能够高效处理高维数据。树结构提供了数据的图形化描述;结合逻辑回归模型,它既提供了准确的分类器,也提供了“成功”概率的分段平滑估计。PLUTO 通过以下方式控制选择偏差:(1) 将分裂变量选择与分裂点选择分离;(2) 应用调整后的卡方检验来寻找分裂变量,而非进行穷举搜索。此外,还采用了自助法校准技术以进一步校正选择偏差。在真实数据集上的比较表明,平均而言,多重线性 PLUTO 模型的预测精度高于其他算法。
引用
@article{arxiv.1411.6948,
title = {PLUTO: Penalized Unbiased Logistic Regression Trees},
author = {Wenwen Zhang and Wei-Yin Loh},
journal= {arXiv preprint arXiv:1411.6948},
year = {2014}
}
备注
59 pages, 25 figures, 14 tables