广义可加模型中最重要的特征可能是特征组
机器学习
2025-06-26 v1
摘要
虽然特征重要性分析在可解释机器学习中变得无处不在, 但有时会忽略或无意中排除来自一组相关特征的联合信号. 忽略联合信号可能会绕过一个关键见解: 在许多情况下, 最重要的预测器并非孤立的特征, 而是特征组的组合效应. 这在包含自然特征分组的数据集中尤其 problematic, 包括多模态数据集. 本文介绍了一种新方法, 用于确定广义可加模型(GAMs)中特征组的重要性, 该方法高效、无需重新训练模型、允许事后定义特征组、允许重叠特征组, 并在高维情境下保持有意义. 此外, 该定义与统计中的解释变数提供了平行. 我们在三个合成实验中展示了该方法的性质, 以说明特征组重要性在各种数据情境下的行为. 我们然后演示了在多模态神经科学数据集中识别抑郁症状的重要性, 并研究了髋关节全身术后后健康社会决定因素的重要性. 这两个案例研究揭示, 分析特征组的重要性比单一特征分析提供更准确、更全面的医疗问题视图.
引用
@article{arxiv.2506.19937,
title = {The Most Important Features in Generalized Additive Models Might Be Groups of Features},
author = {Tomas M. Bosschieter and Luis Franca and Jessica Wolk and Yiyuan Wu and Bella Mehta and Joseph Dehoney and Orsolya Kiss and Fiona C. Baker and Qingyu Zhao and Rich Caruana and Kilian M. Pohl},
journal= {arXiv preprint arXiv:2506.19937},
year = {2025}
}