HYTREL：超图增强的表格数据表示学习
机器学习
2023-10-30 v2 人工智能
计算与语言
摘要
在大规模表格数据上预训练的语言模型已在若干下游任务中展现出有效性。然而，许多此类模型未考虑表格数据中存在的行/列置换不变性、层次结构等。为缓解这些局限，我们提出表格语言模型HYTREL，其利用超图捕获表格数据的置换不变性及另外三种结构性质——其中表格单元构成节点，在每行、每列及整个表中共同出现的单元用于形成三类不同的超边。我们证明HYTREL在表格数据的特定条件下具有最大不变性，即两个表格经HYTREL得到相同表示当且仅当两表在置换意义下完全相同。我们的实证结果表明，HYTREL以最小预训练在四个下游任务上持续优于其他竞争基线，说明了将表格数据相关的归纳偏置融入表示的优势。最后，我们的定性分析表明HYTREL能吸收表格结构以为单元、行、列及整个表生成鲁棒表示。
引用
@article{arxiv.2307.08623,
title = {HYTREL: Hypergraph-enhanced Tabular Data Representation Learning},
author = {Pei Chen and Soumajyoti Sarkar and Leonard Lausen and Balasubramaniam Srinivasan and Sheng Zha and Ruihong Huang and George Karypis},
journal= {arXiv preprint arXiv:2307.08623},
year = {2023}
}
备注
NeurIPS 2023 (spotlight)