深度卷积神经网络面对漫画人脸：身份与图像之揭示

现实世界中的人脸识别需要一种能力，能够在多个可变图像中感知个体人脸的独特特征。灵长类视觉系统利用级联神经元将人脸图像转换为面部身份的分类表征，从而解决图像不变性问题。深度卷积神经网络（DCNNs）也能通过模拟神经元的级联创建可泛化的人脸表征。DCNN 表征可在多维“人脸空间”中考察，身份与图像参数通过该空间定义轴向上的投影来量化。我们考察了视角、光照、性别与身份在此空间中的组织方式。我们表明，该网络创建出一种高度有序、层级嵌套的人脸相似性结构，其中人脸身份信息与成像特征信息共存。自然图像变化在此层级中得到容纳：人脸身份嵌套于性别之下，光照嵌套于身份之下，视角嵌套于光照之下。为考察身份，我们对人脸进行漫画化处理，发现网络识别准确率随漫画化程度提高而提升，并且——模仿人类感知——漫画化失真的人脸“类似于”其真实对应人脸。漫画化通过将身份在人脸空间中移离其他身份并最小化光照与视角的影响来提升性能。深度网络产生的人脸表征解决了广义人脸识别中长期存在的计算问题。它们还提供了一个统一的理论框架，用以调和数十年来强调表征中图像或客体/人脸的行为与神经研究结果，而此前并不理解神经编码如何能无缝容纳二者。