DIG In：利用地理多样性指标评估图像生成中的差异
计算机视觉与模式识别
2024-03-19 v3 人机交互
摘要
近期文本到图像生成系统所取得的空前照片级真实感结果，以及其作为即插即用内容创作解决方案的日益广泛使用，使得理解其潜在偏见变得至关重要。在这项工作中，我们引入了三个指标，用于评估文本到图像生成系统在受提示生成来自世界各地的物体时的真实感、多样性以及提示-生成一致性。我们的指标通过实现地理差异的自动且高效的基准测试，补充了对这类系统更广泛影响的定性分析，这是构建负责任视觉内容创作系统的重要一步。我们使用提出的指标分析了最先进视觉内容创作系统中潜在的地理偏见，发现：(1) 相较于欧洲，在提示生成非洲和西亚时模型的生成真实感与多样性更低；(2) 使用地理信息进行提示会以牺牲生成图像的提示一致性和多样性为代价；(3) 模型对某些物体表现出比其他物体更严重的区域级差异。或许最有趣的是，我们的指标表明图像生成质量的进步是以牺牲真实世界地理表示为代价的。我们的综合评估是确保所有人都能获得积极视觉内容创作体验的关键一步。
引用
@article{arxiv.2308.06198,
title = {DIG In: Evaluating Disparities in Image Generations with Indicators for Geographic Diversity},
author = {Melissa Hall and Candace Ross and Adina Williams and Nicolas Carion and Michal Drozdzal and Adriana Romero Soriano},
journal= {arXiv preprint arXiv:2308.06198},
year = {2024}
}