T2G-Former:将表格特征组织为关系图以促进异质特征交互

Jiahuan Yan; Jintai Chen; Yixuan Wu; Danny Z. Chen; Jian Wu

T2G-Former:将表格特征组织为关系图以促进异质特征交互

机器学习 2023-03-07 v2

作者: Jiahuan Yan , Jintai Chen , Yixuan Wu , Danny Z. Chen , Jian Wu

摘要

深度神经网络(DNNs)在表格学习中的近期发展很大程度上受益于其对自动特征交互的能力。然而,表格特征的异质特性使得这些特征相对独立,且发展有效方法来促进表格特征交互仍是一个开放问题。本文中,我们提出一种新颖的图估计器,它自动估计表格特征间的关系,并通过在相关特征间分配边来构建图。此类关系图将独立的表格特征组织为一种图数据,从而可以以有序方式开展节点(表格特征)间的交互。基于我们提出的图估计器,我们提出一个为表格学习量身定制的Transformer网络,称为 T2G-Former,它通过由关系图引导的表格特征交互来处理表格数据。一个特定的跨层读出机制收集 T2G-Former 各层在不同层级预测的显著特征,并获取全局语义用于最终预测。综合实验表明,我们的 T2G-Former 在 DNNs 中取得了优越性能,并与非深度的梯度提升决策树模型具有竞争力。

关键词

表格学习特征交互图估计器关系图 T2G-Former Transformer 跨层读出梯度提升决策树

引用

@article{arxiv.2211.16887,
  title  = {T2G-Former: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction},
  author = {Jiahuan Yan and Jintai Chen and Yixuan Wu and Danny Z. Chen and Jian Wu},
  journal= {arXiv preprint arXiv:2211.16887},
  year   = {2023}
}

备注

AAAI 2023, Oral. Code: https://github.com/jyansir/t2g-former

T2G-Former:将表格特征组织为关系图以促进异质特征交互

摘要

关键词

引用

备注

相关论文