基于稀疏视角视频的可重光照可动画神经化身

本文致力于解决从未知光照下动态人物的稀疏视角（甚至单目）视频中创建可重光照且可动画神经化身的挑战。与工作室环境相比，该设定更实用且易获取，但却带来了一个极具挑战的病态问题。已有的神经人体重建方法能够利用形变有符号距离场（SDF）从稀疏视角重建可动画化身，但无法恢复用于重光照的材质参数。尽管基于可微逆渲染的方法已成功用于静态物体的材质恢复，但将其推广到动态人体并不容易，因为在形变SDF上计算像素-表面相交与光照可见性以进行逆渲染的计算量极大。为应对此挑战，我们提出一种分层距离查询（HDQ）算法来近似任意人体姿态下的世界空间距离。具体而言，我们基于参数化人体模型估计粗距离，并利用SDF的局部形变不变性计算精距离。基于HDQ算法，我们利用球体追踪高效估计表面相交与光照可见性。这使我们得以开发首个从稀疏视角（或单目）输入恢复可动画且可重光照神经化身的系统。实验表明，与最先进的方法相比，我们的方法能够产生更优的结果。我们的代码将公开以保证可复现性。