One4D：通过解耦LoRA控制实现统一的4D生成与重建
计算机视觉与模式识别
2025-11-25 v1
摘要
我们提出One4D，一个用于4D生成和重建的统一框架，能够产生同步的RGB帧和点云。通过一致处理条件帧的不同稀疏性，One4D能够无缝在从单个图像进行4D生成、从完整视频进行4D重建以及从稀疏帧进行混合生成和重建之间平滑过渡。我们的框架适配强大的视频生成模型，以实现RGB帧和点云的联合生成，设计了 carefully 设计的网络架构。常用的深度图或点云重建扩散微调策略在联合RGB和点云生成中常常失败，快速降解基本视频模型。为解决这一挑战，我们引入解耦LoRA控制（DLC），它采用两个模态特定的LoRA适配器，为RGB帧和点云形成解耦的计算分支，通过轻量级、零初始化的控制链接连接起来，这些链接逐渐学习到相互的像素级一致性。在 modest 计算预算下使用合成和真实4D数据集进行训练，One4D在生成和重建任务中产生高质量的RGB帧和准确的点云。这一工作代表了使用视频扩散模型进行通用、高质量几何驱动的4D世界建模的一步步进。项目页面：https://mizhenxing.github.io/One4D
引用
@article{arxiv.2511.18922,
title = {One4D: Unified 4D Generation and Reconstruction via Decoupled LoRA Control},
author = {Zhenxing Mi and Yuxin Wang and Dan Xu},
journal= {arXiv preprint arXiv:2511.18922},
year = {2025}
}
备注
Project page: https://mizhenxing.github.io/One4D