用于保持风格的面部姿态编辑的像素采样方法
计算机视觉与模式识别
2021-06-16 v1
摘要
现有基于自编码器的面部姿态编辑方法主要关注在姿态合成过程中建模身份保持能力，但较少能恰当地保持图像风格，即颜色、亮度、饱和度等。在本文中，我们利用著名的正面/侧面光学错觉，提出一种新颖的两阶段方法来解决上述困境，其中面部姿态操控任务被转化为面部修复。通过从输入人脸中有选择地采样像素，并利用所提出的“像素注意力采样”模块轻微调整其相对位置，面部编辑结果忠实地保持了身份信息以及图像风格不变。通过在修复阶段利用高维嵌入，生成了更精细的细节。此外，以3D面部关键点作为引导，我们的方法能够在三个自由度(即偏航、俯仰和翻滚)上操控面部姿态，从而实现比当前最先进方法通常仅控制偏航角更灵活的面部姿态编辑。定性和定量评估均验证了所提方法的优越性。
引用
@article{arxiv.2106.07310,
title = {Pixel Sampling for Style Preserving Face Pose Editing},
author = {Xiangnan Yin and Di Huang and Hongyu Yang and Zehua Fu and Yunhong Wang and Liming Chen},
journal= {arXiv preprint arXiv:2106.07310},
year = {2021}
}