MegaPortraits:单次百万像素神经头部化身
计算机视觉与模式识别
2023-03-29 v2
摘要
在本工作中,我们将神经头部化身技术推进至百万像素分辨率,同时聚焦于尤其具有挑战性的跨驱动合成任务,即驱动图像的外观与所动画化的源图像显著不同。我们提出一组新的神经架构与训练方法,能够利用中等分辨率视频数据和高分辨率图像数据,以实现所期望的渲染图像质量水平以及对新视角和运动的泛化能力。我们证明所提架构与方法生成令人信服的高分辨率神经化身,在跨驱动场景中优于竞争对手。最后,我们展示如何将训练好的高分辨率神经化身模型蒸馏为一个轻量级学生模型,该模型可实时运行并将神经化身的身份锁定至数十张预定义的源图像。实时运行与身份锁定对于许多实用的头部化身系统应用至关重要。
引用
@article{arxiv.2207.07621,
title = {MegaPortraits: One-shot Megapixel Neural Head Avatars},
author = {Nikita Drobyshev and Jenya Chelishev and Taras Khakhulin and Aleksei Ivakhnenko and Victor Lempitsky and Egor Zakharov},
journal= {arXiv preprint arXiv:2207.07621},
year = {2023}
}