面向4D人体表演的超分辨率外观迁移

从多视角视频进行人体4D重建中的一个常见问题是所捕获动态纹理外观的质量,其取决于相机分辨率和捕获体积。通常,为框定相机以捕获动态表演体积($>50m^3$)的需求导致人物仅占视场很小比例$<$10%。即使采用超高清4k视频采集,这也导致以低于标准清晰度0.5k视频分辨率对人物采样,从而产生低质量渲染。本文我们通过对静态高分辨率外观捕获装置使用数码单反相机($>8k$)在小体积($<8m^3$)中捕获人物,提出一种通过该超分辨率外观迁移解决此问题的方案。我们提出一条从高清静态捕获到动态视频表演捕获的超分辨率外观迁移流水线,以生成超分辨率动态纹理。这解决了两个关键问题:不同相机系统间的颜色映射;以及使用学习模型的动态纹理图超分辨率。对比评估表明,采用超分辨率动态纹理外观渲染4D表演捕获在定性与定量上均有显著改进。所提方法在保持捕获视频外观动态的同时,复现了静态捕获的高分辨率细节。