iButter：面向人体自由视角渲染的神经交互式子弹时间生成器

生成人体自由视角视频的“子弹时间”特效对于沉浸式视觉效果与VR/AR体验至关重要。近期的神经方法仍缺乏针对人体自由视角渲染的可控且交互式的子弹时间设计能力，尤其是在我们这一轨迹感知任务下的实时、动态和通用设置中。为填补此空白，本文提出一种神经交互式子弹时间生成器（iButter），用于从密集RGB流中进行照片级真实感的人体自由视角渲染，其支持灵活且交互式的人体子弹时间视觉效果设计。我们的iButter方法包含一个实时预览与设计阶段以及一个轨迹感知细化阶段。在预览期间，我们通过将NeRF渲染扩展到实时动态设置并摆脱繁琐的逐场景训练，提出一种交互式子弹时间设计方法。为此，我们的子弹时间设计阶段利用混合训练集、轻量级网络设计以及高效的基于轮廓的采样策略。在细化期间，我们在20分钟内引入一种高效的轨迹感知方案，其沿设计轨迹联合编码空间、时间一致性与语义线索，实现照片级真实感的人体活动子弹时间观看体验。大量实验证明了我们的方法在便捷交互式子弹时间设计与照片级真实感人体自由视角视频生成上的有效性。