颜色有何干？灰度下的人脸识别
摘要
最先进的深度 CNN 人脸匹配器通常使用大量彩色人脸图像训练集创建。我们的研究表明，此类匹配器在采用训练集的灰度版本或彩色版本训练时达到几乎相同的准确率，即使使用彩色测试图像进行评估也是如此。此外，我们证明较浅的模型由于缺乏建模复杂表征的能力，更重度依赖与颜色相关的低级特征等。因此，当使用灰度图像训练时它们表现出下降的准确率。我们随后考虑了深度 CNN 人脸匹配器“看不见颜色”的可能原因。流行的网络抓取人脸数据集中实际上有 30% 到 60% 的身份含有一张或多张灰度图像。我们分析了训练集中的这一灰度成分是否影响所达准确率，并得出结论：它并不影响。我们证明对更深的模型，仅使用灰度图像进行训练和测试可达到与仅使用彩色图像相当的准确率。这对于真实和合成训练数据集均成立。HSV 颜色空间分离了色度和亮度信息，但其对网络关于颜色的学习并不比 RGB 颜色空间有更多助益。我们随后展示，在网络抓取训练集中，个体图像的人体皮肤区域在映射到颜色空间时表现出显著变化。这表明颜色携带有限的身份特定信息。我们还展示当第一卷积层被限制为单个滤波器时，模型学习到一个灰度转换滤波器，并将输入彩色图像的灰度版本传递给下一层。最后，我们证明利用灰度更低的每图存储来增加训练集图像数量可改善人脸识别模型的准确率。
引用
@article{arxiv.2309.05180,
title = {What's color got to do with it? Face recognition in grayscale},
author = {Aman Bhatta and Domingo Mery and Haiyu Wu and Joyce Annan and Micheal C. King and Kevin W. Bowyer},
journal= {arXiv preprint arXiv:2309.05180},
year = {2024}
}
备注
This is replacement version of the previous arxiv submission: 2309.05180 (Our Deep CNN Face Matchers Have Developed Achromatopsia). The past version is published in CVPRW and available in IEEE proceedings. This submitted version is an extension of the conference paper