Mono2Stereo：用于立体转换的基准与实证研究
计算机视觉与模式识别
2025-03-31 v1
摘要
随着3D设备的快速普及以及3D内容的短缺，立体转换正受到日益关注的注意。最近的研究引入了预训练扩散模型（Diffusion Models, DMs）以应用于此任务。然而，由于缺乏大规模训练数据和全面基准测试，针对DMs在立体转换中采用的最佳方法以及立体效果的准确评估仍基本未被探索。本文引入Mono2Stereo数据集，提供高质量的训练数据和基准，以支持深入探索立体转换。有了该数据集，我们进行了一次实证研究，得出两个主要发现：1）左右视图之间的差异微妙，而现有指标则考虑整体像素，未能聚焦于立体效果的关键区域。2）主流方法要么采用从左到右的单阶段生成，要么采用仿射与填充流程，分别面临立体效果下降和图像失真的问题。基于这些发现，我们提出了新的评估指标——立体交并比（Stereo Intersection-over-Union），该指标优先考虑视差差异，并与人类对立体效果的判断高度相关。此外，我们提出了强大的基线模型，同时协调了立体效果和图像质量，显著优于当前主流方法。我们的代码和数据将开源，以推动立体转换领域的进一步研究。我们的模型可在 mono2stereo-bench.github.io 访问。
引用
@article{arxiv.2503.22262,
title = {Mono2Stereo: A Benchmark and Empirical Study for Stereo Conversion},
author = {Songsong Yu and Yuxin Chen and Zhongang Qi and Zeke Xie and Yifan Wang and Lijun Wang and Ying Shan and Huchuan Lu},
journal= {arXiv preprint arXiv:2503.22262},
year = {2025}
}
备注
Accepted by CVPR 2025 Project webpage: https://mono2stereo-bench.github.io/