保持公平!在扩散模型中跨指导尺度确保群体公平性
计算机视觉与模式识别
2026-05-28 v1 机器学习
摘要
扩散模型通过可调的指导尺度来权衡提示对齐度和多样性,但现有去偏技术针对单个尺度进行优化,当用户调整该参数时会损害公平性。我们通过将总偏差分解为模型偏差和指导偏差两个组成部分来追溯这一行为至于一个被忽视的来源。虽然 prior work 主要针对前者进行去偏,但我们表明随着指导尺度单调增大,指导偏差最终在高指导 regime 中占据主导地位。为此,我们将强人口均等性扩展至指导,并推导出目标分布在指导尺度间保持群体比例的条件。我们提出 StayFair,通过该条件设计公平指导算法。对于 classifier 指导,它在不同群体间平衡 classifier 输出分布;对于 classifier-free 指导,它按提示相关偏移量调整空值嵌入。由于 StayFair仅修改指导步骤,它与模型去偏方法正交,可叠加到现有公平扩散模型上以延长其跨指导尺度的公平性。在类别条件和文本到图像生成任务中,StayFair 在不牺牲图像质量的前提下,将公平性与指导尺度解耦。
引用
@article{arxiv.2605.28036,
title = {Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales},
author = {Myeongsoo Kim and Eunji Kim and Minwoo Chae and Sangwoo Mo},
journal= {arXiv preprint arXiv:2605.28036},
year = {2026}
}
备注
28 pages, 18 figures