基于神经对抗不变性学习的异构环境因果探索
统计理论
2025-11-18 v5 机器学习
统计方法学
机器学习
统计理论
摘要
从数据中追求因果关系是科学发现、干预治疗和迁移学习中的一个基本问题。本文引入一种新型算法方法，用于解决跨多个环境中非参数不变性与因果学习的回归模型问题。在这些环境中，响应变量与协变量的联合分布会变化，但给定未知准因变量集合的条件期望在各环境中保持不变。寻找此类未知准因或不变变量集合的挑战在于存在内生变量，这些变量在不同环境中具有异构效应。所提出的Focused Adversarial Invariant Regularization (FAIR) 框架利用创新的对抗优化方法，使回归模型趋向于预测不变解决方案。通过神经网络的表示能力，引入了 FAIR 神经网络 (FAIR-NN) 用于因果探索。我们证明了 FAIR-NN 在最小识别条件下能够找到不变变量和准因变量，并且该程序在非渐近分析中对低维组合结构具有自适应性。在结构因果模型下，FAIR-NN 识别的变量代表实际可行的因果，并在充分的异构性条件下与精确因果机制保持可证的对齐。计算上，FAIR-NN 采用温度降低的 Gumbel 近似以及随机梯度上升算法。该程序通过仿真与真实数据实例进行演示。
引用
@article{arxiv.2405.04715,
title = {Causality Pursuit from Heterogeneous Environments via Neural Adversarial Invariance Learning},
author = {Yihong Gu and Cong Fang and Peter Bühlmann and Jianqing Fan},
journal= {arXiv preprint arXiv:2405.04715},
year = {2025}
}
备注
112 pages, 9 figures with supplemental materials