DNN2LR:面向真实表格数据的解释启发的特征交叉
机器学习
2021-01-20 v5 机器学习
摘要
出于可靠性考虑,真实应用中的模型须同时具备强大性能与全局可解释性。简单分类器如逻辑回归(LR)具全局可解释性,但不足以建模表格数据中特征间复杂非线性交互。同时,深度神经网络(DNN)在建模表格数据上展现卓越效能,却不具备全局可解释性。本工作中,我们发现DNN中特定特征的局部分段解释在不同样本间常不一致,此由隐藏层中的特征交互所致。相应,我们可设计自动特征交叉方法以发现DNN中特征交互,并将其用作LR中的交叉特征。我们给出DNN中解释不一致性的定义,并基于此提出一种称为DNN2LR的新颖特征交叉方法。在四个公开数据集与两个真实数据集上进行了充分实验。由DNN2LR生成的终模型即赋能交叉特征的LR模型,可优于复杂DNN模型及若干前沿特征交叉方法。实验结果有力验证了DNN2LR的有效性与高效性,尤其在具大量特征域的真实数据集上。
引用
@article{arxiv.2008.09775,
title = {DNN2LR: Interpretation-inspired Feature Crossing for Real-world Tabular Data},
author = {Zhaocheng Liu and Qiang Liu and Haoli Zhang and Yuntian Chen},
journal= {arXiv preprint arXiv:2008.09775},
year = {2021}
}