SOAR：从单段野外视频中恢复自遮挡化身
计算机视觉与模式识别
2024-11-01 v1 图形学
摘要
在野外捕捉人物时，由于表演者不遵循预定义的运动脚本，自遮挡现象十分常见。这对假设全身可见的现有单目人体重建系统构成了挑战。我们提出了自遮挡化身恢复（SOAR），一种从身体部分完全未被观测到的局部观测中进行完整人体重建的方法。SOAR 利用结构法线先验和生成扩散先验来解决这一不适定重建问题。对于结构法线先验，我们使用一个具有定义明确且易于读取形状的可重定位面元模型来建模人体。对于生成扩散先验，我们执行初始重建并使用得分蒸馏对其进行优化。在多个基准测试中，我们表明 SOAR 的性能优于最先进的重建和生成方法，并与同期工作性能相当。更多视频结果和代码可在 https://soar-avatar.github.io/ 获取。
引用
@article{arxiv.2410.23800,
title = {SOAR: Self-Occluded Avatar Recovery from a Single Video In the Wild},
author = {Zhuoyang Pan and Angjoo Kanazawa and Hang Gao},
journal= {arXiv preprint arXiv:2410.23800},
year = {2024}
}