DiffuVolume：用于基于代价体的立体匹配的扩散模型
计算机视觉与模式识别
2023-08-31 v1
摘要
立体匹配是许多计算机视觉任务和基于驾驶的应用中的重要部分。近来基于代价体的方法因成对图像中丰富的几何信息而取得巨大成功。然而，代价体的冗余也干扰模型训练并限制性能。为构建更精确的代价体，我们开创性地将扩散模型应用于立体匹配。我们的方法称为 DiffuVolume，将扩散模型视为代价体滤波器，其将递归地从代价体中去除冗余信息。两个主要设计使我们的方法并非平凡。首先，为使扩散模型更适应立体匹配，我们避开直接向图像加噪声的传统方式，而是将扩散模型嵌入任务特定模块中。以此方式，我们以 22% EPE 提升和 240 倍推理加速优于传统扩散立体匹配方法。其次，DiffuVolume 可轻松嵌入任何基于代价体的立体匹配网络，以轻微参数增长（仅 2%）带来性能提升。通过将 DiffuVolume 加入表现良好的方法中，我们在 Scene Flow、KITTI2012、KITTI2015 基准和零样本泛化设定上优于所有已发表方法。值得一提的是，自 2023 年 7 月 15 日起，所提模型在 KITTI 2012 排行榜排名第 1，在 KITTI 2015 排行榜排名第 2。
引用
@article{arxiv.2308.15989,
title = {DiffuVolume: Diffusion Model for Volume based Stereo Matching},
author = {Dian Zheng and Xiao-Ming Wu and Zuhao Liu and Jingke Meng and Wei-shi Zheng},
journal= {arXiv preprint arXiv:2308.15989},
year = {2023}
}
备注
17 pages, 11 figures