从随机森林所得树集成中可证明地恢复布尔交互作用
统计理论
2022-07-06 v3 统计理论
摘要
随机森林（RF）在预测性能方面处于监督机器学习的前沿，尤其在基因组学中。迭代随机森林（iRF）利用来自迭代修改的 RF 的树集成，获得具有预测性且稳定的非线性或布尔特征交互作用。它们在布尔生物交互发现中已展现出巨大潜力，而这正是推进功能基因组学与精准医学的核心。然而，关于基于树的方法如何发现布尔特征交互作用的理论研究尚属空白。受许多生物过程中阈值行为的启发，我们首先引入一种新颖的不连续非线性回归模型，称为局部尖峰稀疏（LSS）模型。具体而言，LSS 模型假设回归函数是分段常数布尔交互项的线性组合。给定一个 RF 树集成，我们为一组带符号特征 S 定义称为深度加权流行度（DWP）的量。直观地说，DWP(S) 衡量 S 中特征在 RF 树集成中共同出现的频繁程度。我们证明，以高概率，DWP(S) 达到一个不涉及任何模型系数的普适上界，当且仅当 S 对应于 LSS 模型下的布尔交互之并。由此，我们表明，在样本量趋于无穷时，称为 LSSFind 的 iRF 程序的理论可处理版本在 LSS 模型下产生一致的交互发现。最后，仿真结果表明，即使某些假设被违背，LSSFind 仍能恢复 LSS 模型下的交互作用。
引用
@article{arxiv.2102.11800,
title = {Provable Boolean Interaction Recovery from Tree Ensemble obtained via Random Forests},
author = {Merle Behr and Yu Wang and Xiao Li and Bin Yu},
journal= {arXiv preprint arXiv:2102.11800},
year = {2022}
}