中文

用于最优治疗策略与最优策略设计的加权稀疏决策树的快速优化

机器学习 2022-10-27 v2 人工智能

摘要

稀疏决策树是最具可解释性的模型形式之一。尽管近期进展已产生可针对预测任务完全优化稀疏决策树的算法,但该工作未涉及策略设计,因其无法处理加权数据样本。具体而言,它们依赖于损失函数的离散性,这意味着实值权重无法直接被使用。例如,现有技术均无法生成在个体数据点融入逆倾向加权的策略。我们提出三种用于高效稀疏加权决策树优化的算法。第一种方法直接优化加权损失函数;然而,其对大型数据集往往计算低效。我们的第二种方法扩展性更佳,将权重转换为整数值并利用数据复制将加权决策树优化问题转化为一个非加权(但更大)的对应问题。我们的第三种算法可扩展至远更大型的数据集,其采用以与权重成比例的概率对每个数据点进行采样的随机化过程。我们给出了两种快速方法的误差理论界,并通过实验表明这些方法可比直接优化加权损失快两个数量级,且不损失显著精度。

关键词

引用

@article{arxiv.2210.06825,
  title  = {Fast Optimization of Weighted Sparse Decision Trees for use in Optimal Treatment Regimes and Optimal Policy Design},
  author = {Ali Behrouz and Mathias Lecuyer and Cynthia Rudin and Margo Seltzer},
  journal= {arXiv preprint arXiv:2210.06825},
  year   = {2022}
}

备注

Advances in Interpretable Machine Learning, AIMLAI 2022. arXiv admin note: text overlap with arXiv:2112.00798