平衡之举：扩散模型中的分布引导去偏

扩散模型（Diffusion Models, DMs）已成为具有前所未有的图像生成能力的强大生成模型。这些模型广泛用于数据增强和创意应用。然而，DMs 反映了训练数据集中存在的偏见。在人脸背景下尤其令人担忧，因为 DM 倾向于某个人口统计子群而非其他子群（例如女性与男性）。在这项工作中，我们提出了一种无需依赖额外数据或模型重训练即可对 DMs 去偏的方法。具体而言，我们提出了分布引导（Distribution Guidance），强制生成的图像遵循规定的属性分布。为实现这一点，我们基于一个关键见解：去噪 UNet 的潜在特征包含丰富的人口统计语义，可利用这些特征引导去偏生成。我们训练了属性分布预测器（Attribute Distribution Predictor, ADP）——一个将潜在特征映射到属性分布的小型多层感知机（mlp）。ADP 使用现有属性分类器生成的伪标签进行训练。提出的带有 ADP 的分布引导使我们能够进行公平生成。我们的方法减少了单一/多个属性上的偏见，并在无条件和文本条件扩散模型上显著优于基线。此外，我们展示了一项下游任务：通过利用我们生成的数据重新平衡训练集来训练公平的属性分类器。