公平性视角下的因果预训练：TabPFN 的实证研究
机器学习
2026-01-28 v2 人工智能
摘要
表格数据基础模型，如表格先验数据拟合网络，是在由结构因果模型（SCM）生成的大量合成数据集上进行预训练的。它们利用上下文学习在现实任务中提供高预测准确率。然而，这些在预训练期间融入因果推理思想的基础模型的公平性属性仍未得到充分探索。在本研究中，我们对 TabPFN 及其微调变体进行了全面的实证评估，在不同数据集规模和分布偏移下评估了预测性能、公平性和鲁棒性。我们的结果表明，尽管 TabPFN 与基线相比实现了更强的预测准确率，并对虚假相关性表现出鲁棒性，但其公平性的提升是中等且不一致的，特别是在非随机缺失协变量偏移下。这些发现表明，TabPFN 中的因果预训练虽有帮助，但不足以实现算法公平性，突出了在实际部署 TabPFN（及类似）模型时的影响以及进一步进行公平性干预的必要性。
引用
@article{arxiv.2601.17912,
title = {Causal Pre-training Under the Fairness Lens: An Empirical Study of TabPFN},
author = {Qinyi Liu and Mohammad Khalil and Naman Goel},
journal= {arXiv preprint arXiv:2601.17912},
year = {2026}
}