用于人脸照片-素描合成与识别的身份感知CycleGAN
计算机视觉与模式识别
2021-03-31 v1
摘要
人脸照片-素描合成与识别在数字娱乐和执法中有许多应用。近年来，基于生成对抗网络(GAN)的方法显著提升了图像合成质量，但并未显式考虑识别目的。本文中，我们首先提出一种身份感知 CycleGAN (IACycleGAN) 模型，其采用一种新的感知损失来监督图像生成网络。它通过更关注眼睛、鼻子等对人脸身份识别重要的关键面部区域合成，改进了 CycleGAN 在照片-素描合成上的表现。此外，我们开发了合成模型与识别模型之间的互优化流程，通过 IACycleGAN 迭代合成更好的图像，并利用生成样本与真实样本的三元组损失增强识别模型。我们在广泛使用的 CUFS 和 CUFSF 数据库上针对照片到素描和素描到照片任务进行了大量实验。结果表明，所提方法在合成图像质量和照片-素描识别准确率方面均优于几种最先进的方法。
引用
@article{arxiv.2103.16019,
title = {Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition},
author = {Yuke Fang and Jiani Hu and Weihong Deng},
journal= {arXiv preprint arXiv:2103.16019},
year = {2021}
}
备注
36 pages, 11 figures