关于生成模型公平性的度量
机器学习
2023-10-31 v1 计算机视觉与模式识别
计算机与社会
摘要
近来，公平生成模型受到越来越多关注。本工作中，我们首次对公平性度量——衡量公平生成模型进展的关键组件——展开深入研究。我们做出三点贡献。首先，一项研究揭示，即便使用高度准确的敏感属性（SA）分类器，现有公平性度量框架仍存在可观的度量误差。这些发现令先前报道的公平性改进存疑。其次，为解决该问题，我们提出CLassifier Error-Aware Measurement（CLEAM），一种利用统计模型考量SA分类器不准确性的新框架。我们提出的CLEAM显著降低了度量误差，例如StyleGAN2在性别上的误差由4.98%降至0.62%。此外，CLEAM以极小额外开销实现此效果。第三，我们利用CLEAM度量重要文本到图像生成器与GAN中的公平性，揭示这些模型中存在可观偏差，引发对其应用的担忧。代码与更多资源：https://sutd-visual-computing-group.github.io/CLEAM/。
引用
@article{arxiv.2310.19297,
title = {On Measuring Fairness in Generative Models},
author = {Christopher T. H. Teo and Milad Abdollahzadeh and Ngai-Man Cheung},
journal= {arXiv preprint arXiv:2310.19297},
year = {2023}
}
备注
Accepted in NeurIPS23