通过适配 XGBoost 构建基于单调树的 GAMI 模型

近期的论文已使用机器学习架构来拟合具有主效应和二阶交互的低阶函数式 ANOVA 模型。这些 GAMI（GAM + Interaction）模型可直接解释，因为函数式主效应和交互作用可以轻松绘制和可视化。遗憾的是，将单调性要求纳入基于提升树的现有 GAMI 模型（如 EBM（Lou et al. 2013）和 GAMI-Lin-T（Hu et al. 2022））并不容易。本文考虑形式为 $f(x)=\sum_{j,k}f_{j,k}(x_j, x_k)$ 的模型，并通过适配 XGBoost 算法开发了基于单调树的 GAMI 模型，称为 monotone GAMI-Tree。使用 XGBoost 中的选项对 $f(x)$ 拟合单调模型是直接的。然而，拟合后的模型仍是黑箱。我们采用不同方法：i) 使用过滤技术确定重要的交互作用，ii) 用所选交互作用拟合单调 XGBoost 算法，最后 iii) 解析并纯化结果以获得单调 GAMI 模型。模拟数据集用于展示 mono-GAMI-Tree 和 EBM 的行为，二者均使用分段常数拟合。注意单调性要求是针对完整模型的。在某些情况下，主效应也将是单调的。但如示例中所示，交互作用将不是单调的。