PSF-4D：面向视角一致的 4D 编辑的渐进采样框架

指令引导生成模型，尤其是那些使用文本到图像（T2I）和文本到视频（T2V）扩散框架的模型，近年来推动了内容编辑领域的发展。为了将这些能力扩展到 4D 场景，我们引入了一种用于 4D 编辑的渐进采样框架（PSF-4D），该框架通过在前向扩散过程中直观地控制噪声初始化，确保了时间一致性和多视角一致性。为了实现时间相干性，我们设计了一种相关高斯噪声结构，将随时间变化的帧链接起来，使每一帧都能有意义地依赖于先前的帧。此外，为了确保跨视角的空间一致性，我们实现了一种跨视角噪声模型，该模型使用共享和独立噪声分量来平衡不同视角之间的共性和独特细节。为了进一步增强空间相干性，PSF-4D 结合了视角一致的迭代细化，将视角感知信息嵌入去噪过程中，以确保跨帧和跨视角的对齐编辑。我们的方法无需依赖外部模型即可实现高质量的 4D 编辑，解决了以往方法中的关键挑战。通过对多个基准和多个编辑方面（例如，风格迁移、多属性编辑、物体移除、局部编辑等）的广泛评估，我们展示了所提出方法的有效性。实验结果表明，我们提出的方法在多种基准上优于 SOTA 的 4D 编辑方法。