通过蒸馏基础模型选择广义可加模型的特征交互作用
机器学习
2026-04-16 v1
摘要
识别有意义的特征交互作用是构建精准可解释表格数据模型的核心挑战。广义可加模型（GAMs）在建模表格数据方面取得了显著成果，但往往依赖启发式程序来选择交互作用，可能遗漏更高阶或情境依赖性效应。为此，我们提出 TabDistill 方法，利用表格基础模型和后置蒸馏技术。我们的核心直觉是：表格基础模型通过大规模表征学习隐式学习到丰富且自适应的特征依赖关系。给定数据集后，TabDistill 首先拟合表格基础模型，然后应用后置交互作用归因方法从中提取关键特征交互作用。我们通过将这些交互作用作为 GAM 中的项进行评估来验证其有效性。在各种任务中，我们发现 TabDistill 识别的交互作用均能持续提升下游 GAM 的预测性能。我们的实验结果表明，表格基础模型可作为数据驱动的交互发现指南，有效桥接高容量模型与可解释加法框架。
引用
@article{arxiv.2604.13332,
title = {Selecting Feature Interactions for Generalized Additive Models by Distilling Foundation Models},
author = {Jingyun Jia and Chandan Singh and Rich Caruana and Ben Lengerich},
journal= {arXiv preprint arXiv:2604.13332},
year = {2026}
}