MobilePortrait：移动设备上的实时单样本神经头部虚拟人
计算机视觉与模式识别
2025-04-09 v3 人工智能
摘要
现有的神经头部虚拟人方法在肖像动画的图像质量和运动范围方面取得了显著进展。然而，这些方法忽略了计算开销，而且据我们所知，没有一种方法是为在移动设备上运行而设计的。本文提出了 MobilePortrait，一种轻量级的单样本神经头部虚拟人方法，它通过将外部知识整合到运动建模和图像合成中，降低了学习复杂性，从而能够在移动设备上进行实时推理。具体来说，我们引入了显式和隐式关键点的混合表示，以进行精确的运动建模，并引入了预计算的视觉特征，以增强前景和背景合成。凭借这两个关键设计并使用简单的 U-Net 作为骨干网络，我们的方法以不到十分之一的计算需求实现了 SOTA 性能。经验证，该方法在移动设备上的速度可达 100 FPS 以上，并支持视频和音频驱动的输入。
引用
@article{arxiv.2407.05712,
title = {MobilePortrait: Real-Time One-Shot Neural Head Avatars on Mobile Devices},
author = {Jianwen Jiang and Gaojie Lin and Zhengkun Rong and Chao Liang and Yongming Zhu and Jiaqi Yang and Tianyun Zhong},
journal= {arXiv preprint arXiv:2407.05712},
year = {2025}
}
备注
CVPR 2025