真实环境下 TabPFN v2 的现实评估
机器学习
2025-05-23 v1
摘要
由于其在实际领域中广泛存在，表格数据在机器学习研究中受到了广泛关注。虽然树基模型长期主导表格机器学习任务，但最近提出的深度学习模型 TabPFN v2 展现了卓越的性能和可扩展性潜力。尽管对 TabPFN v2 的大量研究已致力于进一步提高性能，但大多数研究局限于封闭环境，忽略了在开放环境中经常出现的挑战。这引出了一个问题：TabPFN v2 在开放环境中能否保持良好的性能？为此，我们对 TabPFN v2 在开放环境下的适应性进行了首次全面评估。我们构建了一个覆盖各种真实挑战的统一评估框架，并使用该框架评估 TabPFN v2 在开放环境情景下的鲁棒性。实证结果表明，TabPFN v2 在开放环境中表现出显著的局限性，但适合小规模、协变量漂移和类别平衡的任务。树基模型仍是开放环境中通用表格任务的最佳选择。为促进开放环境挑战的未来研究，我们倡导开放环境表格基准、多指标评估以及通用模块以强化模型鲁棒性。我们公开发布了评估框架，地址为 https://anonymous.4open.science/r/tabpfn-ood-4E65。
引用
@article{arxiv.2505.16226,
title = {Realistic Evaluation of TabPFN v2 in Open Environments},
author = {Zi-Jian Cheng and Zi-Yi Jia and Zhi Zhou and Yu-Feng Li and Lan-Zhe Guo},
journal= {arXiv preprint arXiv:2505.16226},
year = {2025}
}