TwoSquared：从2D图像对生成4D
计算机视觉与模式识别
2025-04-18 v1
摘要
尽管生成式AI取得了惊人的进展，4D动态物体生成仍是一个开放挑战。由于训练数据的稀缺和计算资源的巨大需求，同时进行几何幻视和未见运动的组合，对生成模型构成了巨大挑战。本文提出TwoSquared作为一种方法，从仅包含两个对应于动作开始和结束的2D RGB图像，生成一个物理上合理的4D序列。与直接解决4D生成问题不同，TwoSquared将问题分解为两个步骤：1)基于现有在高质量3D资产上训练的生成模型的图像到3D模块生成，以及2)用于预测中间运动的物理启发变形模块。为此，我们的方法无需模板或对象类别特定的先验知识，可以接受野生图像作为输入。在我们的实验中，我们展示了TwoSquared能够仅给定2D图像即可产生纹理一致且几何一致的4D序列。
引用
@article{arxiv.2504.12825,
title = {TwoSquared: 4D Generation from 2D Image Pairs},
author = {Lu Sang and Zehranaz Canfes and Dongliang Cao and Riccardo Marin and Florian Bernard and Daniel Cremers},
journal= {arXiv preprint arXiv:2504.12825},
year = {2025}
}