从预训练的二维扩散模型中学习三维物体空间关系
计算机视觉与模式识别
2025-08-12 v2
摘要
我们提出了一种通过利用来自预训练二维扩散模型生成的合成三维样本来学习物体对之间三维空间关系的方法，称为物体-物体空间关系（OOR）。我们假设，由二维扩散模型合成的图像本质上捕获了真实的OOR线索，从而能够高效地收集一个用于学习各种无界限物体类别的OOR数据集。我们的 approach 通过合成多样化的图像来捕获合理的OOR线索，然后将其提升为三维样本。基于我们丰富的物体对三维样本集合，我们训练了一个基于得分的OOR扩散模型，以学习它们的相对空间关系。此外，我们将双线性OOR扩展到多物体OOR，通过在双线性关系之间强制一致性并防止物体碰撞。大量实验表明，我们方法在 various 物体-物体空间关系方面的鲁棒性，以及其适用于3D场景布置任务和使用OOR扩散模型进行人体运动合成的可应用性。
引用
@article{arxiv.2503.19914,
title = {Learning 3D Object Spatial Relationships from Pre-trained 2D Diffusion Models},
author = {Sangwon Baik and Hyeonwoo Kim and Hanbyul Joo},
journal= {arXiv preprint arXiv:2503.19914},
year = {2025}
}
备注
Project Page: https://tlb-miss.github.io/oor/