基于三维引导的跨域解耦人脸编辑
计算机视觉与模式识别
2022-03-01 v3 图形学
摘要
通过三维引导的人脸图像编辑因其语义可理解性与用户友好的可控性已广泛应用于多种交互场景。然而，现有基于三维可变形模型的方法无法直接应用于域外人脸，如非真实感绘画、卡通肖像甚至动物，主要由于为每个特定人脸域建立模型存在巨大困难。为克服此挑战，据我们所知，我们提出首个利用人形 3DMM 编辑任意域人脸的方法。这通过两个主要步骤实现：1) 从 3DMM 参数到预训练 StyleGAN2 潜在空间嵌入的解耦映射，保证各语义属性的解耦与精确控制；2) 跨域适配，通过强制一致的潜在空间嵌入弥合域差异并使人类 3DMM 适用于域外人脸。实验与比较证明了我们在多种人脸域上高质量语义编辑方法的优越性，所有主要三维面部属性——姿态、表情、形状、反照率与光照——均可控。此外，我们开发了直观编辑界面以支持用户友好控制与即时反馈。项目页：https://cassiepython.github.io/cddfm3d/index.html
引用
@article{arxiv.2104.11228,
title = {Cross-Domain and Disentangled Face Manipulation with 3D Guidance},
author = {Can Wang and Menglei Chai and Mingming He and Dongdong Chen and Jing Liao},
journal= {arXiv preprint arXiv:2104.11228},
year = {2022}
}
备注
Accepted by TVCG, final version