TransTab：跨表格学习可迁移的表格 Transformer
机器学习
2022-09-19 v2 人工智能
摘要
表格数据（或表）是机器学习(ML)中应用最广泛的数据格式。然而，ML 模型常假设表结构在训练与测试中保持固定。在 ML 建模前，需进行大量数据清洗以合并具有不同列的异构表格。该预处理常导致显著的数据浪费（如删除不匹配的列与样本）。如何从不同列部分重叠的多个表中学习 ML 模型？如何随着时间推移有更多列可用时增量更新 ML 模型？我们能否利用在多个不同表上的模型预训练？如何训练一个可在未见表上预测的 ML 模型？为回答所有这些问题，我们提出通过引入可迁移表格 Transformer (TransTab) 来放宽固定表结构。TransTab 的目标是将每个样本（表中的一行）转换为可泛化嵌入向量，然后应用堆叠 transformer 进行特征编码。一个方法学洞见是将列描述与表格单元作为原始输入送入门控 transformer 模型。另一洞见是引入监督与自监督预训练以提升模型性能。我们在多样基准数据集与五个肿瘤学临床试验数据集上将 TransTab 与多种基线方法比较。总体而言，在监督学习、特征增量学习与迁移学习场景中，TransTab 在 12 种方法中分别排名第 1.00、1.00、1.78；所提出的预训练在监督学习上平均带来 2.3% 的 AUC 提升。
引用
@article{arxiv.2205.09328,
title = {TransTab: Learning Transferable Tabular Transformers Across Tables},
author = {Zifeng Wang and Jimeng Sun},
journal= {arXiv preprint arXiv:2205.09328},
year = {2022}
}
备注
NeurIPS 2022