DebiasPI：基于文本到图像生成模型的推理时去偏处理

伦理干预提示词已成为反对文本到图像生成AI模型中人口统计偏见的工具。现有解决方案要么需要重新训练模型，要么难以生成符合所需人口统计分布（性别和种族）的图像。我们提出一种称为DebiasPI的推理时过程，通过提示词迭代实现去偏处理，提供提示词干预，使用户能够控制图像生成中个体人口统计属性的分布。DebiasPI通过探测模型内部状态或使用外部属性分类器来跟踪哪些属性已被生成。其控制循环引导文本到图像模型选择尚未得到充分代表的属性。使用DebiasPI，我们能够创建在种族和性别上具有平等代表性的图像，以可视化新闻标题所涉及的挑战性概念。我们还实验了年龄、体型、职业和肤色等属性，并测量了当干预提示词针对无关属性类型分布时，属性如何变化。例如，当被要求平衡种族代表性时，性别代表性会得到改善，但肤色就变得不够多样。尝试使用各种干预提示词覆盖广泛肤色范围时，发现模型在生成最白皙的肤色时仍感到困难。我们进行了各种消除实验，通过移除DebiasPI的属性控制，揭示了模型倾向于生成年轻男性角色的趋势。它有时会用两幅画面可视化职业成功：前成功的深色人种变为后成功的浅色人种，或从前成功的女性切换到后成功的男性，从进一步动机伦理干预提示词中体现了DebiasPI。