SelfieAvatar：基于自拍照视频的实时头部虚拟人重演
计算机视觉与模式识别
2026-01-28 v1
摘要
头部虚拟人重演致力于从单目视频中创建可动画的个人虚拟人，是社交信号理解、游戏、人机交互和计算机视觉等应用的基础。近年来，基于 3D 可变形模型（3DMM）的人脸重建方法在高清人脸估计方面取得了显著进展。然而，一方面，它们难以实时捕捉包括非面部区域和背景细节在内的整个头部，而这正是生成逼真、高保真头部虚拟人的关键方面。另一方面，近期利用生成对抗网络（GAN）从视频中生成头部虚拟人的方法能够实现高质量的重演，但在重现细粒度头部细节（如皱纹和头发纹理）方面存在局限。此外，现有方法通常依赖大量训练数据，极少关注仅使用简单的自拍照视频来实现虚拟人重演。为应对这些挑战，本研究提出了一种使用自拍照视频进行精细头部虚拟人重演的方法。该方法将 3DMM 与基于 StyleGAN 的生成器相结合。提出了一种精细重建模型，在对抗训练过程中引入了用于前景重建和虚拟人图像生成的混合损失函数，以恢复高频细节。在自重演和交叉重演任务上的定性和定量评估表明，与现有方法相比，该方法实现了具有丰富复杂纹理的更优头部虚拟人重建。
引用
@article{arxiv.2601.18851,
title = {SelfieAvatar: Real-time Head Avatar reenactment from a Selfie Video},
author = {Wei Liang and Hui Yu and Derui Ding and Rachael E. Jack and Philippe G. Schyns},
journal= {arXiv preprint arXiv:2601.18851},
year = {2026}
}