EquiTabPFN：面向目标维度置换等变的先验拟合网络
机器学习
2026-01-08 v4 人工智能
摘要
近期针对表格数据的基础模型，如 TabPFN，擅长通过原语学习适应新任务，但受限于固定的、预定义的目标维度数量，往往需要昂贵的集成策略。我们追溯到这些模型缺乏目标等变性的结果：即改变目标维度排序会改变其预测。这种缺陷导致不可消除的“等变间隙”，这是一种引入预测不稳定性的误差项。我们通过设计完全目标等变的架构来消除这一间隙——通过等变编码器、解码器以及双注意力机制确保置换不变性。在标准分类基准测试中的经验评估显示，在训练时未见过的更多类别的数据集上，我们的模型在匹配或超越现有方法的同时，还能在计算开销上实现更低的要求。
引用
@article{arxiv.2502.06684,
title = {EquiTabPFN: A Target-Permutation Equivariant Prior Fitted Networks},
author = {Michael Arbel and David Salinas and Frank Hutter},
journal= {arXiv preprint arXiv:2502.06684},
year = {2026}
}