一种基于重要性加权扩散蒸馏的因果估计生成框架
机器学习
2025-05-19 v1 应用统计
统计方法学
机器学习
摘要
从观测数据中估计个体化处理效应是因果推断的核心挑战，这主要源于非随机处理分配带来的协变量不平衡和混杂偏差。虽然逆概率加权（IPW）是解决此问题的成熟方案，但其与现代深度学习框架的整合仍然有限。在本工作中，我们提出了重要性加权扩散蒸馏（IWDD），这是一种新颖的生成框架，它将扩散模型的预训练与重要性加权分数蒸馏相结合，以实现准确且快速的因果估计——包括潜在结果预测和处理效应估计。我们展示了如何将IPW自然地融入预训练扩散模型的蒸馏过程中，并进一步引入了一种基于随机化的调整方法，该方法消除了显式计算IPW的需要——从而简化了计算，并且更重要的是，可证明地降低了梯度估计的方差。实证结果表明，IWDD实现了最先进的样本外预测性能，与其他基线相比具有最高的胜率，显著改善了因果估计并支持了个体化治疗策略的制定。我们将发布PyTorch代码，以确保可复现性并促进未来研究。
引用
@article{arxiv.2505.11444,
title = {A Generative Framework for Causal Estimation via Importance-Weighted Diffusion Distillation},
author = {Xinran Song and Tianyu Chen and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2505.11444},
year = {2025}
}