基于空间时间状态传递的 4D 物体生成自回归模型
计算机视觉与模式识别
2026-02-24 v1
摘要
生成具有空间时间一致性的高质量 4D 物体仍然具有挑战性。现有的扩散方法往往在空间时间一致性方面受限，因其未能利用所有前驱时刻的输出来指导当前时刻的生成。因此，我们提出了空间时间状态传递自回归模型（4DSTAR），以实现空间时间一致的 4D 物体生成。4DSTAR 将生成问题形式化为预测代表 4D 物体的 token。其包含两个关键组件：(1) 提出动态空间时间状态传递自回归模型（STAR），实现空间时间一致的生成。不同于标准自回归模型，STAR 将预测 token 按时刻分组建模，通过传递前述各组的空间时间状态来建模长期依赖，并利用这些依赖指导下一时刻的生成。为此，提出空间时间容器，对历史各组的空间时间特征进行动态更新，然后更新后的特征作为条件特征用于指导下一 token 组的预测。(2) 提出 4D VQ-VAE，对 4D 结构进行离散化编码，并解码由 STAR 预测的离散 token 以生成时序一致的动态 3D 高斯分布。实验表明，4DSTAR 能够生成空间时间一致的 4D 物体，且性能与扩散模型相当。
引用
@article{arxiv.2602.18830,
title = {Spatial-Temporal State Propagation Autoregressive Model for 4D Object Generation},
author = {Liying Yang and Jialun Liu and Jiakui Hu and Chenhao Guan and Haibin Huang and Fangqiu Yi and Chi Zhang and Yanyan Liang},
journal= {arXiv preprint arXiv:2602.18830},
year = {2026}
}