利用运动场正则化动态辐射场

本文提出了一种从单目视频重建动态辐射场的新方法。我们将运动学与动态辐射场相结合，弥合了单目视频的稀疏性与真实世界物理之间的差距。我们的方法引入了运动场，通过运动学量（速度、加速度和加加速度）来捕捉运动。运动场与动态辐射场通过最小化光度损失联合学习，无需运动真值。我们进一步用基于运动学的物理驱动正则化器来增强我们的方法。我们提出了物理驱动的正则化器，以确保预测的运动学量（包括平流加速度和加加速度）的物理有效性。此外，我们基于由预测的运动学量形成的刚性方程来控制运动轨迹。在实验中，我们的方法通过在具有挑战性的真实世界单目视频中捕捉物理运动模式，优于当前最先进的方法。