反事实图像生成的基准测试

生成式AI彻底改变了视觉内容编辑，使用户能够轻松修改图像和视频。然而，并非所有编辑都是平等的。为了在自然图像或医学成像等领域执行逼真的编辑，修改必须尊重数据生成过程中固有的因果关系。这种图像编辑属于反事实图像生成范畴。评估反事实图像生成非常复杂：它不仅缺乏可观测的真实值，还需要遵守因果约束。尽管存在几种反事实图像生成方法和评估指标，但在统一设置下缺乏全面的比较。我们提出了一个比较框架，以全面基准测试反事实图像生成方法。我们整合了所有已用于该任务的模型，并将其扩展到新的数据集和因果图，展示了分层VAE在大多数数据集和指标上的优越性。我们的框架在一个用户友好的Python包中实现，可以扩展以包含额外的SCM、因果方法、生成模型和数据集，供社区在此基础上构建。代码：https://github.com/gulnazaki/counterfactual-benchmark。