AvatarMAV：基于运动感知神经体素的快速三维头部化身重建
计算机视觉与模式识别
2023-05-04 v3
摘要
随着NeRF被广泛用于面部重演，近期方法仅需一段单目视频即可恢复照片级真实的三维头部化身。遗憾的是，基于NeRF的方法训练过程相当耗时，因为其中使用的MLP效率低下，且需要过多迭代才能收敛。为克服该问题，我们提出AvatarMAV，一种基于运动感知神经体素的快速三维头部化身重建方法。AvatarMAV首次通过神经体素对头部化身的规范外观与解耦的表情运动进行建模。具体而言，运动感知神经体素由多个4D张量的加权拼接生成。这些4D张量在语义上与3DMM表情基一一对应，并共享与3DMM表情系数相同的权重。得益于我们的新颖表示，所提AvatarMAV仅需5分钟（以纯PyTorch实现）即可恢复照片级真实的头部化身，显著快于当前最先进的面部重演方法。项目主页：https://www.liuyebin.com/avatarmav。
引用
@article{arxiv.2211.13206,
title = {AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels},
author = {Yuelang Xu and Lizhen Wang and Xiaochen Zhao and Hongwen Zhang and Yebin Liu},
journal= {arXiv preprint arXiv:2211.13206},
year = {2023}
}
备注
Accepted by SIGGRAPH 2023