先验数据拟合网络在因果推断中的频率一致性
机器学习
2026-03-13 v1
摘要
基于先验数据拟合网络（PFN）的基础模型在因果推断中表现出强大的经验性能，因将任务框架化为内在学习问题。然而，尚不清楚基于PFN的因果估计器是否提供与经典频率主义估计器一致的不确定性量化。本文通过分析PFN在平均处理效应（ATE）上的频率一致性，来填补这一空白。（1）我们指出，现有的PFN当解释为贝叶斯ATE估计器时，可能出现先验诱导的混淆偏差：即先验在数据渐进上未被数据覆盖，这反过来阻止了频率一致性。（2）作为补救措施，我们建议采用基于单步后验校正（OSPC）的校准程序。我们表明，OSPC有助于恢复频率一致性，并可为校准后的PFN（即校准后的PFN估计器与经典半参数高效估计器在数据规模增大时收敛于相同分布）提供半参数的贝叶斯-温文-米斯定理。（3）最后，我们通过在PFN之上构建鞅后验来实现OSPC，从而从PFN中恢复功能调节后验，用于OSPC。在多个（半）合成实验中，采用我们鞅后验OSPC校准的PFN，其ATE不确定性（i）在渐进意义上匹配频率不确定性，（ii）在有限样本中相对于其他贝叶斯ATE估计器具有良好校准。
引用
@article{arxiv.2603.12037,
title = {Frequentist Consistency of Prior-Data Fitted Networks for Causal Inference},
author = {Valentyn Melnychuk and Vahid Balazadeh and Stefan Feuerriegel and Rahul G. Krishnan},
journal= {arXiv preprint arXiv:2603.12037},
year = {2026}
}