L1 逻辑回归作为特征选择步骤用于训练稳定分类树以预测输入性疟疾的严重程度标准
机器学习
2015-11-23 v1 定量方法
应用统计
摘要
使用解释性和预测性模型的多变量分类方法对于根据风险特征刻画患者亚群十分必要。常用方法包括逻辑回归和分类树，其性能随数据集的性质和特点而变化。在输入性疟疾背景下，我们旨在基于异质患者群体对严重程度标准进行分类。我们通过实施两种不同策略来研究这些方法：L1 逻辑回归（L1LR）对单一全局解建模，以及分类树对对应于特征空间判别子区域的多个局部解建模。每种策略下，我们构建了一个标准模型及其更稀疏的版本。作为剪枝的替代方案，我们探索了一种有前景的方法，即首先利用基于 L1LR 的特征选择来约束树模型，我们将此方法称为 L1LR-Tree。其目的是通过移除对应于不稳定局部现象的变量，降低其对小数据变化的脆弱性。我们的研究有两个方面：i）从方法论角度比较前述三种方法（即 L1LR、分类树和 L1LR-Tree）在输入性疟疾重症分类中的性能和稳定性；ii）从应用角度，通过基于被疾病临床定义忽略的变量识别可预测若干临床标准的更个性化特征，改进输入性疟疾重症的实际分类。主要方法学结果表明，组合方法 L1LR-Tree 构建了稀疏且稳定的模型，能显著预测不同严重程度标准，并在准确率上优于所有其他方法。
引用
@article{arxiv.1511.06663,
title = {L1 logistic regression as a feature selection step for training stable classification trees for the prediction of severity criteria in imported malaria},
author = {Luca Talenti and Margaux Luck and Anastasia Yartseva and Nicolas Argy and Sandrine Houzé and Cecilia Damon},
journal= {arXiv preprint arXiv:1511.06663},
year = {2015}
}
备注
18 pages, 10 figures, ICLR, computational science - Learning, Imported Malaria, L1 logistic regression, Decision tree