参考引导的人脸部件编辑
计算机视觉与模式识别
2020-07-15 v2
摘要
人脸肖像编辑近年来取得巨大进展。然而，以往方法要么（1）在预定义人脸属性上操作，缺乏控制高层语义面部部件（如眼、鼻、口）形状的灵活性，要么（2）以人工编辑的掩码或草图作为可观察变化的中间表示，但此类额外输入通常需额外努力获取。为打破现有方法在形状、掩码或草图上的局限，我们提出一种称为r-FACE（Reference-guided FAce Component Editing，参考引导人脸部件编辑）的新框架，用于具有几何变化的多样且可控人脸部件编辑。具体而言，r-FACE以图像修复模型为骨干，利用参考图像作为控制人脸部件形状的条件。为促使框架聚焦于目标人脸部件，设计了示例引导注意力模块，以融合注意力特征与从参考图像提取的目标人脸部件特征。通过大量实验验证与对比，我们证实了所提框架的有效性。
引用
@article{arxiv.2006.02051,
title = {Reference-guided Face Component Editing},
author = {Qiyao Deng and Jie Cao and Yunfan Liu and Zhenhua Chai and Qi Li and Zhenan Sun},
journal= {arXiv preprint arXiv:2006.02051},
year = {2020}
}