半合成：一种快速生成立体匹配有效数据集的方法
计算机视觉与模式识别
2021-01-27 v1
摘要
立体匹配是计算机视觉中的重要问题，数十年来吸引了大量研究关注。近年来，基于卷积神经网络（CNNs）的数据驱动方法不断将立体匹配推向新高度。然而，数据驱动方法需要大量训练数据，由于逐像素真实视差标注困难，真实立体数据并非易事。尽管提出了合成数据集以填补大数据需求缺口，由于合成数据与真实数据间的域差异，仍需在真实数据集上微调。本文中，我们发现合成数据集中接近真实场景的纹理渲染是提升立体匹配性能的关键因素，而接近真实场景的 3D 建模则不那么重要。我们进而提出半合成（semi-synthetic），一种有效且快速的合成大量具有接近真实场景纹理数据以最小化合成与真实数据差距的方法。大量实验表明，用我们提出的半合成数据集训练的模型比用一般合成数据集训练的模型性能显著更好，尤其在训练数据有限的真实数据基准上。通过在真实数据集上进一步微调，我们还在 Middlebury 上取得 SOTA 性能，并在 KITTI 与 ETH3D 数据集上取得有竞争力的结果。
引用
@article{arxiv.2101.10811,
title = {Semi-synthesis: A fast way to produce effective datasets for stereo matching},
author = {Ju He and Enyu Zhou and Liusheng Sun and Fei Lei and Chenyang Liu and Wenxiu Sun},
journal= {arXiv preprint arXiv:2101.10811},
year = {2021}
}