中文

决策树的高效且正确的预测等价性检测

人工智能 2025-10-17 v4 机器学习 计算机科学中的逻辑

摘要

决策树(DTs)的拉舒姆集(Rashomon set)因其实际应用价值受到关注。近期研究表明,计算相同分类函数的决策树(即预测等价的DTs)在拉舒姆集中占相当比例。这种冗余性令人不愉。例如,基于拉舒姆集的特征重要性计算因预测等价DTs的存在而变得不准确,即这些DTs在所有可能的输入下都具有相同的预测结果。近期工作中,McTavish等人提出了针对决策树的若干计算问题的解决方案,包括预测等价性决策问题。McTavish等人的做法是应用著名的Quine-McCluskey(QM)方法,以获得决策树的最小尺寸析取范形(DNF)表示形式,然后用于比较决策树的预测等价性。此外,最小尺寸DNF表示也被用于计算决策树预测的解释,以及在缺失数据的情况下寻找预测。然而,公式最小化问题在多项式层次的第二个层级上是困难的,QM方法可能在最坏情况下出现指数级运行时间和空间复杂度。本文首先表明存在决策树会触发QM方法的最坏情况指数运行时间和空间复杂度。其次,本文指出,若不遵守两个关键约束,QM方法可能错误地决定预测等价性,而这两个约束可能难以形式化保证。再次,本文表明,任何将最小DNF表示形式应用于问题的解决方案,都可以在决策树的大小范围内以多项式时间内解决。实验确认,对于触发QM方法最坏情况的决策树,本文提出的算法在速度上远超McTavish等人提出的算法。

关键词

引用

@article{arxiv.2509.17774,
  title  = {Efficient & Correct Predictive Equivalence for Decision Trees},
  author = {Joao Marques-Silva and Alexey Ignatiev},
  journal= {arXiv preprint arXiv:2509.17774},
  year   = {2025}
}