ExFMan：结合混合单目模糊帧与事件的 3D 动态人体渲染
计算机视觉与模式识别
2024-09-24 v1
摘要
近年来，随着神经渲染技术的出现，从单目视频进行动态人体的 3D 重建取得了巨大进展。该任务具有广泛的应用，包括为虚拟现实（VR）环境创建虚拟角色。然而，当单目视频受运动模糊影响时（特别是由快速人体运动（如跑步、跳舞）引起的，这在自然场景中经常发生），重建清晰的人体仍具挑战性。这导致渲染的 3D 人体在形状与外观上出现明显的不一致性，尤其是在手和腿等快速运动的模糊区域。在本文中，我们提出了 ExFMan，这是首个利用基于帧的 RGB 与仿生事件相机展现快速运动人体高质量渲染可能性的神经渲染框架。其“开箱即用”的洞见是以互补方式利用事件数据的高时间分辨率信息，并根据渲染人体的速度自适应地重新加权 RGB 帧与事件在局部区域中的损失影响。这显著减轻了与 RGB 帧中运动模糊相关的不一致性。具体而言，我们首先在规范空间中公式化 3D 人体的速度场，并将其渲染到图像空间以识别存在运动模糊的身体部位。随后，我们提出两种新颖的损失，即速度感知光度损失与速度相对事件损失，以在估计速度的指导下优化两种模态下的神经人体。此外，我们引入新颖的姿态正则化与 alpha 损失，以促进连续姿态与清晰边界。在合成与真实数据集上的大量实验表明，ExFMan 能够重建更锐利、更高质量的人体。
引用
@article{arxiv.2409.14103,
title = {ExFMan: Rendering 3D Dynamic Humans with Hybrid Monocular Blurry Frames and Events},
author = {Kanghao Chen and Zeyu Wang and Lin Wang},
journal= {arXiv preprint arXiv:2409.14103},
year = {2024}
}