LoopGaussian：通过欧拉运动场从多视图图像创建3D动态照片

动态照片是一种独特的视觉媒体形式，结合了静态摄影和微妙运动的元素，以创造迷人的体验。然而，近期作品生成的大多数视频缺乏深度信息，并局限于2D图像空间的约束。在本文中，受3D高斯泼溅（3D-GS）在新视角合成（NVS）领域取得的重大进展启发，我们提出LoopGaussian，利用3D高斯建模将动态照片从2D图像空间提升到3D空间。为实现这一目标，我们首先采用3D-GS方法从静态场景的多视图图像重建3D高斯点云，并加入形状正则化项以防止物体变形引起的模糊或伪影。然后，我们采用专为3D高斯设计的自编码器将其投影到特征空间。为了保持场景的局部连续性，我们设计了SuperGaussian，基于获取的特征进行聚类。通过计算聚类之间的相似性并采用两阶段估计方法，我们推导出一个欧拉运动场来描述整个场景的速度。然后，3D高斯点在估计的欧拉运动场内移动。通过双向动画技术，我们最终生成一个具有自然且无缝循环动态的3D动态照片。实验结果验证了我们方法的有效性，展示了高质量且视觉上吸引人的场景生成。项目地址：https://pokerlishao.github.io/LoopGaussian/。