利用区域归一化翻译你喜爱的面部区域
计算机视觉与模式识别
2020-07-30 v1
摘要
尽管基于 GAN（生成对抗网络）的技术已大幅推进了图像合成与人脸翻译的性能，但文献中提供基于区域的风格编码与翻译的工作寥寥无几。本文中我们提出一种区域级人脸翻译的区域归一化框架。在利用已有方法编码各区域风格的同时，我们构建了所谓的 RIN（区域归一化）模块，将风格分别注入各区域特征图，然后融合以进行后续卷积与上采样。因此，不同区域的形状与纹理均可被翻译为多种目标风格。我们还提出了区域匹配损失，以显著减少翻译过程中区域间的干扰。在 Morph、RaFD 和 CelebAMask-HQ 三个公开数据集上的大量实验表明，我们的方法相较 StarGAN、SEAN 和 FUNIT 等最先进方法有明显提升。我们的方法在精确控制待翻译区域方面具有进一步优势，从而可实现区域级表情变化与逐步化妆。视频演示见 https://youtu.be/ceRqsbzXAfk。
引用
@article{arxiv.2007.14615,
title = {Translate the Facial Regions You Like Using Region-Wise Normalization},
author = {Wenshuang Liu and Wenting Chen and Linlin Shen},
journal= {arXiv preprint arXiv:2007.14615},
year = {2020}
}
备注
13 pages, 13 figures