从被物体遮挡的单目视频中渲染人体

从单目视频中对运动人体进行3D理解与渲染是一项具有挑战性的任务。尽管近期取得进展，该任务在真实场景里仍很困难，其中障碍物可能阻挡相机视野并导致所捕获视频中的部分遮挡。现有方法因两个原因无法处理此类缺陷。首先，标准渲染策略依赖点点映射，可能导致身体可见区域与遮挡区域之间的巨大差异。其次，朴素的直接回归方法未考虑任何在遮挡下渲染的可行性准则（即先验信息）。为应对上述缺陷，我们提出OccNeRF，一种能在严重遮挡场景中更好渲染人体的神经渲染方法。作为对两个缺陷的直接解决方案，我们通过整合几何与可见性先验提出了基于表面的渲染。我们在模拟与真实世界遮挡上验证了方法，并展示了其优越性。