SwitchTab: 切换自编码器是有效的表格学习器
机器学习
2024-01-05 v1
摘要
自监督表示学习方法在计算机视觉和自然语言处理中取得了显著成功，其中数据样本表现出显式的空间或语义依赖关系。然而，将这些方法应用于表格数据具有挑战性，因为数据样本之间的依赖关系不那么明显。在本文中，我们通过引入SwitchTab来解决这一限制，这是一种专门设计用于捕获表格数据中潜在依赖关系的新型自监督方法。SwitchTab利用非对称编码器-解码器框架来解耦数据对之间的互信息和显著特征，从而产生更具代表性的嵌入。这些嵌入进而有助于更好的决策边界，并在下游任务中带来改进的结果。为了验证SwitchTab的有效性，我们在涉及表格数据的多个领域进行了大量实验。结果表明，在微调的端到端预测任务中性能优越。此外，我们证明了预训练的显著嵌入可以作为即插即用特征，用于增强各种传统分类方法（例如逻辑回归、XGBoost等）的性能。最后，我们强调了SwitchTab通过在潜在空间中对解耦的互信息和显著特征进行可视化来创建可解释表示的能力。
引用
@article{arxiv.2401.02013,
title = {SwitchTab: Switched Autoencoders Are Effective Tabular Learners},
author = {Jing Wu and Suiyao Chen and Qi Zhao and Renat Sergazinov and Chen Li and Shengjie Liu and Chongchao Zhao and Tianpei Xie and Hanqing Guo and Cheng Ji and Daniel Cociorva and Hakan Brunzel},
journal= {arXiv preprint arXiv:2401.02013},
year = {2024}
}