是什么让你成为你？通过交换面部部件分析识别机制
计算机视觉与模式识别
2022-06-24 v1 图形学
摘要
深度学习将人脸识别的精度提升至前所未有的高度。然而，面部局部区域如何影响整体识别性能仍大多不明。其中，人脸交换已被用于此目的，但仅针对整张脸。本文中，我们提出交换面部部件，以解耦不同脸部区域（如眼睛、鼻子和嘴）的识别相关性。在我们的方法中，将源脸部件换至目标脸通过拟合一个 3D 先验来完成，该先验建立部件间稠密像素对应，同时处理姿态差异。随后使用无缝克隆在映射的源区域与目标脸的形状和肤色之间获得平滑过渡。我们设计了一个实验协议，当交换图像由深度网络分类时，得以得出一些初步结论，表明眼睛与眉毛区域占主导地位。代码见 https://github.com/clferrari/FacePartsSwap
引用
@article{arxiv.2206.11759,
title = {What makes you, you? Analyzing Recognition by Swapping Face Parts},
author = {Claudio Ferrari and Matteo Serpentoni and Stefano Berretti and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2206.11759},
year = {2022}
}
备注
Accepted for publication at 26TH International Conference on Pattern Recognition (ICPR), 2022