DevilSight：通过虚拟视角增强单目人类化身重建
计算机视觉与模式识别
2025-09-03 v1
摘要
我们提出一种新框架，用于从单目视频重建人类化身。最近的研究方法要么难以捕获输入的细粒度动态细节，要么难以在新视角上生成合理细节，这主要源于化身模型的表示容量有限以及观测数据不足。为克服这些挑战，我们提议利用先进的视频生成模型 Human4DiT 从 alternative perspective（备选视角）生成人类动作，以充当额外的监督信号。这种方法不仅丰富了之前不可见区域的细节，还有效地正则化了化身表示以减轻 artifact。此外，我们引入两种互补策略来增强视频生成：通过视频微调将物理身份注入模型，以确保人类动作的一致再现；采用基于 patch 的去噪算法以获得更高分辨率的输出，从而获得更细致的细节。实验结果表明，我们的方法在最新 SOTA 方法上取得优异性能，验证了我们提出策略的有效性。
引用
@article{arxiv.2509.00403,
title = {DevilSight: Augmenting Monocular Human Avatar Reconstruction through a Virtual Perspective},
author = {Yushuo Chen and Ruizhi Shao and Youxin Pang and Hongwen Zhang and Xinyi Wu and Rihui Wu and Yebin Liu},
journal= {arXiv preprint arXiv:2509.00403},
year = {2025}
}