如何绑定偏见：测量文本到图像组成中的隐藏关联以控制偏见

文本到图像生成模型常常表现出与敏感属性相关的偏见。然而，当前研究倾向于仅关注单对象提示且缺乏上下文多样性。实际上，提示中每个对象或属性都可能贡献偏见。例如，提示“佩戴粉红帽子的助理”可能反映与粉红帽子相关的女性倾向偏见。语义绑定的联合效应被忽视，导致当前去偏方法在实际应用中出现显著失败。本工作对偏见在语义绑定下的表现进行初步调查，研究上下文关联如何影响生成结果。我们演示，基于这些关联，底层偏见分布可能被放大。因此，我们引入一种偏见依从得分，用于量化特定对象-属性绑定如何激活偏见。为深入探究，我们开发了一种无训练的上下文-偏见控制框架，探讨标记解耦如何促进语义绑定的去偏。该框架在组成生成任务中实现了超过 10% 的去偏改进。我们对各种属性-对象绑定的偏见得分和标记去相关的分析突显了一个根本挑战：在不破坏关键语义关系的前提下减少偏见。这一发现揭示了当应用于语义绑定上下文时，当前去偏方法的关键局限，凸显了需要重新评估当前偏见缓解策略的必要性。