MonoHuman：基于单目视频的可动画人体神经场

以自由视角控制对虚拟化身进行动画处理对于虚拟现实和数字娱乐等多种应用至关重要。先前的研究试图利用神经辐射场（NeRF）的表示能力从单目视频中重建人体。近期工作提出将变形网络植入 NeRF 以进一步建模人体神经场的动态从而动画化生动的人体运动。然而，此类流程要么依赖姿态相关表示，要么因帧独立优化而缺乏运动连贯性，难以真实泛化到未见姿态序列。本文提出一种新颖框架 MonoHuman，可在任意新姿态下鲁棒渲染视角一致且高保真的化身。我们的核心思路是以双向约束建模变形场，并显式利用现成关键帧信息推理特征相关性以获得连贯结果。具体而言，我们首先提出共享双向变形模块，通过将反向与正向变形对应解耦为共享骨骼运动权重与独立非刚性运动，创建姿态无关的可泛化变形场。随后，我们设计正向对应搜索模块，查询关键帧的对应特征以引导渲染网络。由此渲染结果在多视角下一致且高保真，即便在极具挑战的新姿态设置下亦然。广泛实验证明了我们所提 MonoHuman 相对于最先进方法的优越性。