MoRF：基于单目视频的移动端逼真全身虚拟形象
计算机视觉与模式识别
2023-12-12 v2
摘要
我们提出了一个创建移动端逼真全身（MoRF）虚拟形象的系统。MoRF 虚拟形象在移动设备上实时渲染，从单目视频中学习，并具有高真实感。我们使用 SMPL-X 作为代理几何，并用 DNR（神经纹理与图像到图像网络）对其进行渲染。我们通过过拟合神经纹理空间中逐帧扭曲场改进了先前工作，从而更好地对齐不同帧之间的训练信号。我们还改进了 SMPL-X 网格拟合流程以提升整体虚拟形象质量。在与其他基于单目视频的虚拟形象系统的对比中，MoRF 虚拟形象实现了更高的图像清晰度和时间一致性。我们的用户研究参与者也偏好由 MoRF 生成的虚拟形象。
引用
@article{arxiv.2303.10275,
title = {MoRF: Mobile Realistic Fullbody Avatars from a Monocular Video},
author = {Renat Bashirov and Alexey Larionov and Evgeniya Ustinova and Mikhail Sidorenko and David Svitov and Ilya Zakharkin and Victor Lempitsky},
journal= {arXiv preprint arXiv:2303.10275},
year = {2023}
}