通过场景消歧迈向无种族偏见的肤色估计
计算机视觉与模式识别
2022-07-26 v2
摘要
虚拟人脸化身将在沉浸式通信、游戏与元宇宙中扮演日益重要的角色，因此确保其包容性至关重要。这要求准确恢复由反照率表征的外观，而不受年龄、性别或种族影响。尽管在估计三维面部几何方面已取得显著进展，反照率估计所受关注较少。该任务本质上具有歧义性，因为观测颜色是反照率与光照（二者均未知）的函数。我们发现当前方法偏向浅肤色，原因在于 (1) 强烈偏向更浅色素的先验，以及 (2) 忽视光/反照率歧义的算法方案。为此，我们提出一个新的评估数据集（FAIR）与一种算法（TRUST）以改进反照率估计，从而提升公平性。具体而言，我们创建了首个在肤色上均衡的面部反照率评估基准，并使用个体类型学角（ITA）度量衡量精度。随后，我们基于一个关键观察解决光/反照率歧义：完整场景图像——而非裁剪的人脸图像——包含可用于消歧的重要光照信息。TRUST 通过同时以人脸区域和从场景图像获得的全局光照信号为条件来回归面部反照率。实验结果表明，在反照率估计的精度与公平性上，相较最先进方法均有显著提升。评估基准与代码将于 https://trust.is.tue.mpg.de 提供以用于研究目的。
引用
@article{arxiv.2205.03962,
title = {Towards Racially Unbiased Skin Tone Estimation via Scene Disambiguation},
author = {Haiwen Feng and Timo Bolkart and Joachim Tesch and Michael J. Black and Victoria Abrevaya},
journal= {arXiv preprint arXiv:2205.03962},
year = {2022}
}
备注
Camera-Ready version, accepted at ECCV2022