单次保身份肖像重演

我们提出了一种基于深度学习的框架，用于从目标对象的单张图片（单次）和驱动主体的视频中进行肖像重演。现有的面部重演方法在目标与驱动主体不同时（跨主体）会出现身份不匹配并产生不一致的身份，尤其在单次设定下。本工作中，我们旨在解决从单张图片进行的跨主体肖像重演中的身份保持问题。我们引入了一种新技术，能够解耦身份与表情及姿态，从而即使在驱动者身份与目标身份差异很大时也能实现保身份肖像重演。这通过一个新颖的地标解耦网络（LD-Net）实现，该网络预测个性化的面部地标，将目标的身份与来自不同主体的表情和姿态相结合。为处理未见主体的肖像重演，我们还引入了基于特征字典的生成对抗网络（FD-GAN），它局部地将二维地标转换为个性化肖像，从而在大姿态和表情变化下实现单次肖像重演。我们通过广泛的消融研究验证了身份解耦能力的有效性，且我们的方法在跨主体肖像重演中产生一致身份。我们的综合实验表明，我们的方法显著优于最先进的单图像面部重演方法。我们将发布代码和模型供学术使用。