利用对抗预训练 Transformer 进行表格预测任务的零样本元学习
机器学习
2025-06-11 v2 人工智能
摘要
我们提出了一种对抗预训练 Transformer (APT)，它能够在不针对任何真实世界数据集进行预训练的情况下，对表格预测任务执行零样本元学习，这是对先验数据拟合网络 和 TabPFN 最新进展的扩展。具体而言，APT 使用对抗性合成数据智能体进行预训练，这些智能体不断改变其底层数据生成分布，并故意用不同的合成数据集挑战模型。此外，我们提出了一种混合块架构，能够处理具有任意类别数的分类任务，解决了类别数量限制问题——这是先前深度表格零样本学习器的一个关键弱点。在实验中，我们表明我们的框架在小型分类任务上达到了 SOTA 性能，且无需根据数据集特征（如类别数和缺失值数）进行过滤，同时保持平均运行时间在一秒以内。在分类和回归的常见基准数据集套件上，我们表明对抗性预训练能够提升 TabPFN 的性能。在我们的分析中，我们证明对抗性合成数据智能体能够生成比 TabPFN 中普通随机生成器更多样化的数据集合。此外，我们证明我们的混合块神经设计提高了泛化能力并极大地加速了预训练。
引用
@article{arxiv.2502.04573,
title = {Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer},
author = {Yulun Wu and Doron L. Bergman},
journal= {arXiv preprint arXiv:2502.04573},
year = {2025}
}
备注
Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025