Align Your Gaussians：基于动态 3D 高斯与组合扩散模型的文本到 4D 生成
计算机视觉与模式识别
2024-01-04 v2 机器学习
摘要
文本引导的扩散模型彻底改变了图像和视频生成，并已成功用于基于优化的 3D 物体合成。在此，我们转而关注尚未充分探索的文本到 4D 设置，利用带有额外时间维度的分数蒸馏方法合成动态的、动画化的 3D 物体。与以往工作相比，我们追求一种新颖的基于组合生成的方法，结合文本到图像、文本到视频和 3D 感知多视图扩散模型，在 4D 物体优化过程中提供反馈，从而同时强制时间一致性、高质量视觉外观和逼真几何结构。我们的方法称为 Align Your Gaussians (AYG)，利用带有形变场的动态 3D 高斯泼溅 (3D Gaussian Splatting) 作为 4D 表示。AYG 的关键在于一种新颖的方法，用于正则化移动 3D 高斯的分布，从而稳定优化并诱导运动。我们还提出了一种运动放大机制以及一种新的自回归合成方案，以生成和组合多个 4D 序列从而实现更长的生成。这些技术使我们能够合成生动的动态场景，在定性和定量上超越以往工作，并实现最先进的文本到 4D 性能。由于采用了高斯 4D 表示，不同的 4D 动画可以无缝组合，正如我们所演示的那样。AYG 为动画、模拟、数字内容创作以及合成数据生成开辟了充满希望的途径。
引用
@article{arxiv.2312.13763,
title = {Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed Diffusion Models},
author = {Huan Ling and Seung Wook Kim and Antonio Torralba and Sanja Fidler and Karsten Kreis},
journal= {arXiv preprint arXiv:2312.13763},
year = {2024}
}
备注
Project page: https://research.nvidia.com/labs/toronto-ai/AlignYourGaussians/