从随机森林中可证明地恢复局部重要有符号特征与交互
机器学习
2025-12-15 v1 机器学习
统计方法学
摘要
特征与交互重要性（FII）方法在监督学习中至关重要，用于评估复杂预测模型中输入变量及其交互的相关性。在许多领域，如个性化医疗，通常需要个体预测的局部解释，而非总结整体特征重要性的全局分数。随机森林（RF）在这些设置中被广泛使用，现有的可解释性方法通常利用树结构和分裂统计来提供模型特定的洞察。然而，对RF的局部FII方法的理论理解仍然有限，使得如何解释个体预测的高重要性分数尚不明确。我们提出了一种新的、局部的、模型特定的FII方法，识别决策路径上特征的频繁共现，将全局模式与特定于给定测试点的路径模式相结合。我们证明该方法在局部尖峰稀疏（LSS）模型下能一致地恢复真实的局部信号特征及其交互，还能识别驱动预测的是大特征值还是小特征值。我们通过模拟研究和真实世界数据示例展示了该方法及其理论结果的有用性。
引用
@article{arxiv.2512.11081,
title = {Provable Recovery of Locally Important Signed Features and Interactions from Random Forest},
author = {Kata Vuk and Nicolas Alexander Ihlo and Merle Behr},
journal= {arXiv preprint arXiv:2512.11081},
year = {2025}
}