InterpreTabNet: 通过显著特征解释从表格数据中提取预测信号
机器学习
2024-06-12 v3
摘要
表格数据在各行各业中无处不在。诸如TabNet之类的神经网络已被提出用于进行预测，同时利用注意力机制实现可解释性。然而，推断出的注意力掩码通常是密集的，这使得难以对预测信号给出合理解释。为了解决这个问题，我们提出了InterpreTabNet，它是TabNet模型的一个变体，将注意力机制建模为从Gumbel-Softmax分布中采样的潜变量。这使我们能够通过KL散度正则化器来正则化模型，从而学习注意力掩码中的不同概念。它通过促进稀疏性来防止特征选择重叠，从而最大化模型的有效性，并在预测结果时提高确定重要特征的可解释性。为了帮助解释模型中特征间的相互依赖关系，我们采用了大语言模型（GPT-4）并通过提示工程将学习到的特征掩码映射为描述学习到的信号的自然语言文本。通过在真实世界数据集上的全面实验，我们证明了InterpreTabNet在解释表格数据方面优于先前的方法，同时达到了具有竞争力的准确性。
引用
@article{arxiv.2406.00426,
title = {InterpreTabNet: Distilling Predictive Signals from Tabular Data by Salient Feature Interpretation},
author = {Jacob Si and Wendy Yusi Cheng and Michael Cooper and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2406.00426},
year = {2024}
}
备注
ICML 2024 Spotlight