中文

在StyleGAN潜空间操作中控制人脸框架生成:修改人脸以欺骗我们的记忆

计算机视觉与模式识别 2024-07-02 v1 人工智能

摘要

Innocence Project是一个致力于减少错误定罪的非营利组织。他们与布宜诺斯艾利斯理工学院(ITBA)的睡眠与记忆实验室合作,正在研究人脸识别背景下的人类记忆。他们有一个强有力的假设,即人类记忆严重依赖人脸框架来识别人脸。如果这一点得到证实,可能意味着警方列队辨认中的人脸识别不可信,因为它们可能导致错误定罪。本研究使用实验来尝试证明这一点,使用具有不同属性(如眼睛大小)但尽可能保持其框架的人脸。在这个项目中,我们继续了之前一个项目的工作,该项目提供了使用StyleGAN2生成逼真人脸的基本工具。我们深入研究了该工具的内部机制,以充分利用StyleGAN2的功能,同时增加了更多特性,例如修改其某些属性,包括张嘴或睁眼。由于该工具的使用严重依赖于保持人脸框架,我们开发了一种方法来识别每张图像的人脸框架,并开发了一个函数来将其与经过某些操作后的神经网络输出进行比较。我们得出结论,在修改睁眼或张嘴时,人脸框架得以保持。当修改垂直面部朝向、性别、年龄和微笑时,对框架变化有相当大的影响。最后,水平面部朝向对人脸框架显示出重大影响。这样,实验室可以应用某些操作,确信人脸框架不会发生显著变化,从而使它们可用于欺骗受试者的记忆。

关键词

引用

@article{arxiv.2407.00803,
  title  = {Controlling Face's Frame generation in StyleGAN's latent space operations: Modifying faces to deceive our memory},
  author = {Agustín Roca and Nicolás Ignacio Britos},
  journal= {arXiv preprint arXiv:2407.00803},
  year   = {2024}
}