中文

从参数化局部搜索视角提高决策树性能

机器学习 2025-10-15 v1

摘要

学习决策树的算法通常包含诸如(1)调整切割阈值或(2)交换该切割的特征等的启发式局部搜索操作。我们研究通过执行固定次数的单类操作来最小化分类错误。尽管我们发现这些问题在一般情况下是 NP 完全的,但我们提供了详尽的参数化复杂性分析,旨在确定解释问题难以理解的性质以及哪些性质使问题可解。例如,我们证明这些问题在少量特征 dd 或小域大小 DD 时仍然难以解决,但两者的组合则导致固定参数可解。即问题可在 (D+1)2dIO(1)(D + 1)^{2d} \cdot |I|^{O(1)} 时间复杂度内解决,其中 I|I| 为输入规模。我们还提供了一个证明概念的实现,并报告了实证结果。

关键词

引用

@article{arxiv.2510.12726,
  title  = {Improving Decision Trees through the Lens of Parameterized Local Search},
  author = {Juha Harviainen and Frank Sommer and Manuel Sorge},
  journal= {arXiv preprint arXiv:2510.12726},
  year   = {2025}
}

备注

Accepted at NeurIPS 2025