面向可动画人体化身的高效网格化神经场

从视频中高效数字化高保真可动画人体化身是一个具有挑战性且活跃的研究课题。近期基于体渲染的神经表示以其易用性和照片级真实感重建质量为人体重建开辟了新途径。然而，它们因漫长的优化时间和缓慢的推理速度而低效；其隐式性质导致人体的几何、材质与动力学纠缠，难以事后编辑。此类缺陷阻碍了它们向下游应用的直接适用性，尤其是突出的基于光栅化的图形应用。我们提出 EMA，一种高效学习网格化神经场以重建可动画人体化身的方法。它通过端到端的逆渲染联合优化显式三角规范网格、空间变化材质与运动动力学。上述各组件均由独立的神经场导出，放宽了对模板或绑定的要求。该网格表示与高效基于光栅化的渲染器高度兼容，因此我们的方法仅需约一小时训练且可实时渲染。此外，仅数分钟优化即足以获得可信重建结果。网格的解耦实现了直接的下游应用。大量实验展示了相较于先前方法极具竞争力的性能与显著的速度提升。我们还展示了包括新姿态合成、材质编辑和重光照在内的应用。项目页面：https://xk-huang.github.io/ema/。