释放深度表格数据模型中词元的可迁移性
机器学习
2023-10-24 v1
摘要
微调预训练的深度神经网络已成为各种机器学习任务中一种成功的范式。然而，当预训练模型与目标任务的特征集存在差异时，这一范式在表格数据上变得尤为具有挑战性。在本文中，我们提出 TabToken，一种旨在提升特征词元（即表格特征的嵌入）质量的方法。TabToken 允许在上游与下游任务共享重叠特征时利用预训练模型，即便训练样本有限也能促进模型微调。具体而言，我们引入一个对比目标来正则化词元，捕捉特征内部及跨特征的语义。在预训练阶段，词元与 transformer 等顶层深度模型联合学习。在下游任务中，共享特征的词元保持固定，而 TabToken 高效微调模型的其余部分。TabToken 不仅支持将知识从预训练模型迁移到具有异构特征的任务，还增强了深度表格模型在标准分类与回归任务中的判别能力。
引用
@article{arxiv.2310.15149,
title = {Unlocking the Transferability of Tokens in Deep Models for Tabular Data},
author = {Qi-Le Zhou and Han-Jia Ye and Le-Ye Wang and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2310.15149},
year = {2023}
}