面向运动与视觉表演的时序归档相机虚拟化

相机虚拟化——一种新兴的视角合成解决方案——在视觉娱乐、现场演出和体育转播中拥有变革性潜力，通过利用来自有限多个已校准静态物理相机的图像，实现从新视角生成逼真的图像。尽管近期进展取得了一些突破，但要实现动态场景的高效时序归档能力，尤其是在高速运动的体育赛事和舞台表演中，仍然具有挑战性。基于 3D 高斯溅写（3DGS）的最新方法可为动态场景提供实时视角合成结果。然而，这些方法受限于依赖结构从运动方法获取准确 3D 点云，以及无法处理不同主体（如翻转、跳跃、关节运动、突然的球员间转换）的大规模、非刚性、快速运动。此外，多个主体的独立运动会破坏 4DGS、ST-GS 等动态溅写变体常用的高斯跟踪假设。本文提出重新考虑一种神经体积渲染公式，用于相机虚拟化和高效时序归档，使其适用于体育转播和相关应用。通过将动态场景建模为给定时间点上多个同步相机视图之间的刚性变换，我们的方法进行神经表示学习，提供在测试时增强的视觉渲染质量。我们方法的一个关键贡献是支持时序归档，即用户可以回顾动态场景的任何过去时间实例并进行视角合成，实现回放、分析和归档直播事件的功能，这一功能在现有的神经渲染方法和视角合成方法中均无此功能。