随机森林的 Forest Floor 可视化
机器学习
2016-07-05 v3 机器学习
摘要
我们提出一种新方法 forest floor，用于可视化和解释随机森林(RF)模型。RF 是一种流行且有用的非线性多变量分类与回归工具，在鲁棒性（低方差）与适应性（低偏差）之间取得良好权衡。直接解释 RF 模型是困难的，因为由数百棵深层树构成的显式集成模型很复杂。尽管如此，可以通过其从特征空间到预测空间的映射来可视化 RF 模型拟合。借此，用户首先看到模型结构的整体几何形状，需要时可放大局部细节。通过投影进行降维以可视化高维形状。可视化 RF 模型结构的传统方法——偏依赖图(partial dependence plots)——通过对多个平行投影取平均来实现。我们建议先使用特征贡献（一种通过分裂特征分解树的方法），随后进行投影。forest floor 相对于偏依赖图的优点在于交互作用不会被平均所掩盖。因此，可以定位在给定投影中未可视化的交互作用。此外，我们引入：可视化优度度量、使用颜色梯度识别交互作用，以及特征贡献的袋外交叉验证变体。
引用
@article{arxiv.1605.09196,
title = {Forest Floor Visualizations of Random Forests},
author = {Soeren H. Welling and Hanne H. F. Refsgaard and Per B. Brockhoff and Line H. Clemmensen},
journal= {arXiv preprint arXiv:1605.09196},
year = {2016}
}
备注
25 pages, 12 figures, supplementary materials. v2->v3: minor proofing, moderated comments on ICE-plots, replaced \psi-operator with the subset named H in equation 13 and 14 to improve simplicity