DebFilter：消除价值隐藏偏见

文本到图像扩散模型——在理论上等价于基于得分的生成模型——通过文本嵌入(从预训练的视觉语言模型如 CLIP 中提取)引导多步骤去噪过程生成图像。然而，这些文本嵌入本质上编码了与性别、年龄等相关的社交和语义偏见——这些偏见随后通过引导机制传递并放大，以及模型在大规模不平衡数据集上训练，常导致文本到图像生成中产生偏斜输出。我们提出 DebFilter，一种轻量且无需训练的框架，用于缓解文本到图像扩散模型中的偏见。观察到模型在每个去噪步骤的误差预测主要受跨注意力动力学影响，我们引入一种偏差校正策略，通过调整跨注意力中的 value 组件来实现校正。具体而言，我们对 guidance 嵌入的切片应用固定偏移，有效地将跨注意力 value 的语义方向引导至无偏表示。这一调整重新配置得分景观以产生平衡输出，同时保持与预期文本语义的一致性。与依赖微调或重新训练的先前方法不同，DebFilter 完全在推理时运行，不需要额外数据或模型更新。我们的结果表明，该方法有效缓解了生成图像中的社交偏见，为通往更公平更包容的文本到图像生成提供了高效可扩展的路径。