面向表格基础模型的轻量级输入空间适配器：TFM-Retouche
机器学习
2026-05-12 v2 人工智能
摘要
表格基础模型 (TFMs)如TabPFN-2.6、TabICLv2、ConTextTab、Mitra、LimiX和TabDPT，通过基于情境学习实现强大的零样性能，但其归纳偏置在推理时保持固定。将预训练TFM适应特定数据集或任务通常需要完整微调（计算昂贵）或参数高效调谐方法(PEFT)如LoRA，这些方法必须针对每个TFM的内部架构进行定制。此外，关于权衡空间微调是否提高准确率或校准能力的证据尚未定论。我们提出TFM-Retouche，一种轻量级输入空间残差适配器，相对于冻结的TFM主干以架构无关方式设计。TFM-Retouche在输入空间学习小型残差校正，将输入数据与预训练模型的归纳偏置对齐。该适配器通过冻结TFM进行端到端训练，并配备后训练身份守卫，在适应不帮助于保留验证集时回退到未修改的TFM。在TabArena-Lite（覆盖二分类、多分类和回归的51个数据集）上，TabICLv2-Retouche——在TabICLv2上实现该框架——在排行榜上位列第一，采用轻量级任务调谐和集成，使聚合Elo值相较于冻结的TabICLv2基线提升+56，位于预测质量与训练和推理时间的帕累托前沿。
引用
@article{arxiv.2605.06047,
title = {TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models},
author = {Duong Nguyen and Mohammed Jawhar and Nicolas Chesneau},
journal= {arXiv preprint arXiv:2605.06047},
year = {2026}
}