深度生成模型会放大未来模型中的偏差吗？
计算机视觉与模式识别
2024-04-05 v1
摘要
我们研究了深度生成模型对未来计算机视觉模型中潜在社会偏差的影响。随着互联网上 AI 生成图像的不断涌入，人们对这些图像可能伴随的固有偏差产生了担忧，这可能导致有害内容的传播。本文探讨了如果将生成的图像用作未来模型的训练数据，是否会出现导致偏差放大的有害反馈循环。我们通过逐步用 Stable Diffusion 生成的图像替换 COCO 和 CC3M 数据集中的原始图像来进行模拟。修改后的数据集用于训练 OpenCLIP 和图像描述模型，我们从质量和偏差方面对它们进行了评估。与预期相反，我们的研究结果表明，在训练期间引入生成的图像并不会均匀地放大偏差。相反，我们观察到在特定任务中出现了偏差缓解的情况。我们进一步探讨了可能影响这些现象的因素，例如图像生成中的伪影（如模糊的面部）或原始数据集中预先存在的偏差。
引用
@article{arxiv.2404.03242,
title = {Would Deep Generative Models Amplify Bias in Future Models?},
author = {Tianwei Chen and Yusuke Hirota and Mayu Otani and Noa Garcia and Yuta Nakashima},
journal= {arXiv preprint arXiv:2404.03242},
year = {2024}
}
备注
This paper has been accepted to CVPR 2024