合成反事实面孔

计算机视觉系统已在涉及生物识别的各种应用中部署，如人脸。这些系统可识别社交媒体用户、搜索失踪人员、验证个人身份。虽然计算机视觉模型常在可用基准数据集上评估准确性，但更需要经过注释的数据来了解其对输入数据中语义分布性变化（尤其是人脸数据）的鲁棒性和公平性。由于收集自然人脸数据成本昂贵，本文提出了一种基于生成式 AI 的框架，用于构建有针对性的、高质量的合成人脸反事实数据。我们的合成数据管道有多种用途，包括面部识别系统灵敏度评估和图像理解系统探针。该管道通过多项用户研究进行了验证。我们在主流商业视觉模型上展示了人脸生成管道的有效性。我们识别出导致视觉系统失效的面部属性。