面向开放世界的立体图像生成与无监督匹配：一种基于扩散的方法
计算机视觉与模式识别
2025-07-15 v2
摘要
立体图像是诸多应用的基本数据，包括延伸现实(XR)设备、自动驾驶和机器人等。然而，获取高质量的立体图像仍然具有挑战性，因为双摄像头 setup 需要精确校准，且获取准确、稠密的视差图仍然复杂。现有的立体图像生成方法通常只关注观看的视觉质量或匹配的几何精度，但二者并非兼顾。我们引入 GenStereo，一种基于扩散的方法，以填补这一差距。该方法包含两个主要创新点：(1) 将扩散过程条件化于基于视差的坐标嵌入和已扭曲输入图像，使得比以往方法更精确地实现立体对齐；(2) 一种自适应融合机制，智能地将扩散生成的图像与已扭曲图像组合，提高了现实感和视差一致性。通过在11个多样化立体数据集上进行大规模训练，GenStereo 显示出强大的泛化能力。在立体图像生成和无监督立体匹配任务上，GenStereo 实现了最新的性能。项目页面已于 https://qjizhi.github.io/genstereo 提供。
引用
@article{arxiv.2503.12720,
title = {Towards Open-World Generation of Stereo Images and Unsupervised Matching},
author = {Feng Qiao and Zhexiao Xiong and Eric Xing and Nathan Jacobs},
journal= {arXiv preprint arXiv:2503.12720},
year = {2025}
}
备注
Accepted by ICCV 2025