360° 体积人像 Avatar
计算机视觉与模式识别
2023-12-12 v1
摘要
我们提出 360° Volumetric Portrait (3VP) Avatar，一种仅基于单目视频输入重建人类对象 360° 照片级真实感人像 avatar 的新方法。最先进的单目 avatar 重建方法依赖于稳定的面部表情捕捉。然而，常见的基于 3DMM 的面部跟踪有其局限性；侧视图难以捕捉，特别是对于后视图，由于缺少面部 landmarks 或人体解析掩码等所需输入而失败。这导致仅覆盖前半球的 avatar 重建不完整。与此相反，我们提出一种基于模板的躯干、头部和面部表情跟踪，使我们能够覆盖人类对象各个侧面的外观。因此，给定在单个相机前旋转的对象序列，我们训练基于神经辐射场的神经体积表示。构建该表示的一个关键挑战是外观变化的建模，特别是嘴部区域（即嘴唇和牙齿）。因此，我们提出一种基于形变场的混合基，允许我们在不同外观状态之间进行插值。我们在捕获的真实世界数据上评估了我们的方法，并与最先进的单目重建方法进行了比较。与这些方法相比，我们的方法是首个重建完整 360° avatar 的单目技术。
引用
@article{arxiv.2312.05311,
title = {360{\deg} Volumetric Portrait Avatar},
author = {Jalees Nehvi and Berna Kabadayi and Julien Valentin and Justus Thies},
journal= {arXiv preprint arXiv:2312.05311},
year = {2023}
}
备注
Project page: https://jalees018.github.io/3VP-Avatar/