基于姿态引导多平面图像的实时神经角色渲染
计算机视觉与模式识别
2022-04-26 v1
摘要
我们提出姿态引导多平面图像（MPI）合成，能够以照片级真实质量在真实场景中渲染可动画角色。我们使用便携式相机装置捕获运动主体的多视角图像及驱动信号。我们的方法推广了图像到图像翻译范式，利用多视角捕获作为监督，将人体姿态翻译为可自由视角渲染的 3D 场景表示——MPI。为充分挖掘 MPI 的潜力，我们提出深度自适应 MPI，其可使用可变曝光图像学习，并对不准确的相机配准具有鲁棒性。我们的方法在具有挑战性动作的角色的新视角合成质量上优于最先进方法。此外，所提方法可泛化至训练姿态的新组合，并可被显式控制。我们的方法以实时方式实现如此富有表现力且可动画的角色渲染，可作为实际应用的一种有前景的解决方案。
引用
@article{arxiv.2204.11820,
title = {Real-Time Neural Character Rendering with Pose-Guided Multiplane Images},
author = {Hao Ouyang and Bo Zhang and Pan Zhang and Hao Yang and Jiaolong Yang and Dong Chen and Qifeng Chen and Fang Wen},
journal= {arXiv preprint arXiv:2204.11820},
year = {2022}
}
备注
Project website: https://ken-ouyang.github.io/cmpi/index.html