面向上下文感知人脸迁移的因果表示学习
计算机视觉与模式识别
2021-11-18 v4 统计方法学
摘要
人脸合成涉及将人脸的身份及身份相关脸型（IDFS）知识迁移到目标人脸图像，而目标图像的上下文（例如面部表情、头部姿态及其他背景因素）可能发生剧烈变化。人脸是非刚性的，因此面部表情会导致脸型形变，头部姿态也会影响在 2D 图像中观察到的人脸。人脸迁移的一个关键挑战是使人脸匹配未观测到的新上下文，并相应地将人脸外观适配到不同姿态与表情。在本工作中，我们找到了一种为生成模型提供先验知识的方法，以推断人脸针对不同表情与姿态的合适外观。我们提出一种新颖的上下文感知人脸迁移方法，称为 CarTrans，它将上下文因素的因果效应纳入人脸表示，从而能够感知新上下文的不确定性。我们通过设计受控干预试验，以反事实推断估算面部表情与头部姿态的效应，从而避免了需要大量观测以充分覆盖姿态-表情空间的要求。此外，我们提出一种基于核回归的编码器，在从目标图像编码上下文信息时消除目标人脸的身份特异性。所得方法展现出令人印象深刻的性能，可在各种上下文条件下对脸型与外观进行细粒度控制。
引用
@article{arxiv.2110.01571,
title = {Causal Representation Learning for Context-Aware Face Transfer},
author = {Gege Gao and Huaibo Huang and Chaoyou Fu and Ran He},
journal= {arXiv preprint arXiv:2110.01571},
year = {2021}
}