基于语义归纳的扩散反事实生成

反事实图像生成面临诸多挑战，包括保持身份一致性、维持感知质量以及确保与底层因果模型的忠实性。虽然现有的自动编码框架允许语义潜在空间，从而可被操控以实现因果控制，但它们在可扩展性和保真度方面存在困难。扩散模型的进展为改进反事实图像编辑提供了机遇，已展示出最先进的视觉质量、人类对齐的感知和表征学习能力。本文提出了一套基于扩散的因果机制，引入了空间、语义和动态归纳的概念。我们提出了一个通用框架，通过 Pearlian 因果学派将语义表征整合到扩散模型中，通过反事实推理过程编辑图像。迄今为止，这是首个考虑高级语义身份保持以实现扩散反事实，并展示了语义控制如何实现忠实因果控制与身份保持之间的原则性权衡。