面向人脸重演的细粒度保身份关键点合成
计算机视觉与模式识别
2021-10-13 v2
摘要
近期的人脸重演工作受限于粗糙的参考关键点，由于被操控关键点与从真实人物采样得到的关键点之间存在分布差距，导致保身份性能不尽如人意。为解决此问题，我们提出了一种细粒度的保身份关键点引导人脸重演方法。所提方法有两个创新点。第一，设计了一个关键点合成网络，用于生成具有更多细节的细粒度关键点人脸。该网络对被操控关键点进行细化，并生成平滑且逐渐变化、具有良好保身份能力的人脸关键点序列。第二，设计了若干新颖的损失函数，包括合成人脸保身份损失、前景/背景掩码损失以及边界损失，旨在合成清晰锐利的高质量人脸。实验在我们自行收集的BeautySelfie和公开的VoxCeleb1数据集上进行。定性与定量结果表明，与SOTA工作相比，我们的方法能够重演出细粒度、更高质量的人脸，具有更好的ID保留外观细节、更少的伪影和更清晰的边界。代码将公开以便复现。
引用
@article{arxiv.2110.04708,
title = {Fine-grained Identity Preserving Landmark Synthesis for Face Reenactment},
author = {Haichao Zhang and Youcheng Ben and Weixi Zhang and Tao Chen and Gang Yu and Bin Fu},
journal= {arXiv preprint arXiv:2110.04708},
year = {2021}
}