基于消除的反事实分析

扩散模型是一类生成模型，能够生成高质量的样本，但目前难以刻画它们对训练数据的依赖性。这种困难引发了科学和监管方面的疑问，也是扩散模型复杂性及其采样过程的结果。为了分析这种依赖性，我们引入基于消除的反事实分析（Ablation Based Counterfactuals, ABC），一种依赖于模型消除而非模型再训练的反事实分析方法。在我们的方法中，模型的独立组件在不同的但有重叠的训练集划分上进行训练。然后将这些组件组合成单个模型，通过消除特定的模型组件来消除对任何训练样本的因果影响。我们展示了如何使用扩散模型的集成构建此类模型。随后，我们利用该模型研究训练数据归因的极限，通过枚举完整的反事实景观，并显示单一来源归因随训练数据规模的增加而减弱。最后，我们证明了不可归因样本的存在。