TabPFN是否理解因果结构？
机器学习
2025-11-11 v1
摘要
因果发现是多个科学领域的基本问题，但从真实数据中提取因果信息仍是一个重大挑战。鉴于最近在真实数据上的成功，我们调查TabPFN——一个基于Transformer的表格基础模型是否在其内部表示中编码了因果信息。我们开发了一个适配器框架，使用可学习的解码器和因果标记，从TabPFN的冻结嵌入中提取因果信号并解码为因果发现的邻接矩阵。我们的评估表明，TabPFN的嵌入包含因果信息， outperform于几种传统因果发现算法，且这种因果信息集中在中等层数。这些发现为可解释且可适应的基础模型开辟了新的方向，表明了利用预训练表格模型进行因果发现的潜力。
关键词
引用
@article{arxiv.2511.07236,
title = {Does TabPFN Understand Causal Structures?},
author = {Omar Swelam and Lennart Purucker and Jake Robertson and Hanne Raum and Joschka Boedecker and Frank Hutter},
journal= {arXiv preprint arXiv:2511.07236},
year = {2025}
}