XTab：面向表格 Transformer 的跨表预训练
机器学习
2023-05-11 v1
摘要
自监督学习在计算机视觉与自然语言处理中的成功推动了表格数据上的预训练方法。然而，多数现有表格自监督学习模型未能利用多张数据表之间的信息，且无法泛化到新表。本工作中，我们引入 XTab，一种在来自不同领域的数据集上对表格 Transformer 进行跨表预训练的框架。我们通过使用独立特征化器并采用联邦学习预训练共享组件，解决了表间列类型与数量不一致的难题。在来自 OpenML-AutoML Benchmark (AMLB) 的 84 个表格预测任务上测试表明：(1) XTab 持续提升了多个表格 Transformer 的泛化性、学习速度与性能；(2) 通过 XTab 预训练 FT-Transformer，我们在回归、二分类与多分类等多种任务上取得了优于其他 SOTA 表格深度学习模型的性能。
引用
@article{arxiv.2305.06090,
title = {XTab: Cross-table Pretraining for Tabular Transformers},
author = {Bingzhao Zhu and Xingjian Shi and Nick Erickson and Mu Li and George Karypis and Mahsa Shoaran},
journal= {arXiv preprint arXiv:2305.06090},
year = {2023}
}