RS-Corrector：纠正潜在扩散模型中的种族刻板印象

近期的文本条件图像生成模型展现出了生成多样化、富有创意且具有高视觉质量图像的卓越能力。然而，当在从互联网随机收集的包含潜在人类偏见偏好的十亿级数据集上进行预训练时，这些模型往往会产生带有常见且反复出现的刻板印象的图像，尤其是针对特定种族群体。在本文中，我们对公开可用的Stable Diffusion模型及其衍生模型进行了初步分析，突出了种族刻板印象的存在。这些模型经常为某些种族群体生成扭曲或有偏见的图像，强调刻板特征。为了解决这些问题，我们提出了一个名为“RS-Corrector”的框架，旨在潜在空间中建立反刻板印象偏好，并更新潜在代码以优化生成结果。该纠正过程发生在推理阶段，无需对原始模型进行微调。大量实证评估表明，所引入的模型在保持原始模型不变的同时，有效纠正了训练充分的Stable Diffusion模型的种族刻板印象。