利用基础模型进行因果生成建模
机器学习
2026-05-25 v1 人工智能
计算机视觉与模式识别
摘要
因果生成建模对于开发能够进行反事实推理的可靠且透明的AI系统至关重要。虽然现有方法致力于在生成模型训练期间整合因果约束，但它们常缺乏统一框架来利用预训练基础模型的零样例推理能力。我们引入FM-CGM，一个用于基于预训练基础模型的端到端视觉因果推理的模块化框架。FM-CGM通过三个核心组件正式化了因果管道：概念提取器、概念操控器和反事实生成器。通过利用大规模推理模型进行因果推断和文本到图像扩散模型进行生成，我们的方法实现了零样例因果发现、干预和反事实生成。我们然后开发了因果语义指导(CSG)，一种基于跨注意力的机制，确保语义干预传播至后代概念，同时保持不变区域。我们在实证上表明，该方法能够识别合理的因果结构，适用于可靠的反事实图像生成。
引用
@article{arxiv.2605.23861,
title = {Leveraging Foundation Models for Causal Generative Modeling},
author = {Aneesh Komanduri and Xintao Wu},
journal= {arXiv preprint arXiv:2605.23861},
year = {2026}
}