面向腹腔镜图像跨域场景的基于学习的立体匹配方法视差细化框架
计算机视觉与模式识别
2023-02-07 v1
摘要
目的：能够实现深度估计的立体匹配方法对于计算机辅助手术（CAS）中的可视化增强应用至关重要。基于学习的立体匹配方法有望在腹腔镜图像上预测出准确的结果。然而，它们需要大量的训练数据，并且其性能可能因域偏移而下降。方法：保持基于学习方法的鲁棒性并提高其准确性仍然是未解决的问题。为了克服基于学习方法的局限性，我们提出了一种视差细化框架，该框架由局部视差细化方法和全局视差细化方法组成，旨在跨域设置下改善基于学习的立体匹配方法的结果。这些基于学习的立体匹配方法在一个大型自然图像公开数据集上进行预训练，并在两个腹腔镜图像数据集上进行测试。结果：定性和定量结果表明，我们提出的视差框架能够在未见过的数据集上有效细化受噪声干扰的视差图，同时当网络能够很好地泛化到未见过的数据集时，不会影响预测准确性。结论：我们提出的视差细化框架可以与基于学习的方法协同工作，以实现鲁棒且准确的视差预测。然而，由于目前不存在用于训练基于学习方法的大型腹腔镜数据集，且网络的泛化能力仍有待提高，将所提出的视差细化框架整合到现有网络中，将有助于提高其与深度估计相关的整体准确性和鲁棒性。
引用
@article{arxiv.2302.02294,
title = {A Disparity Refinement Framework for Learning-based Stereo Matching Methods in Cross-domain Setting for Laparoscopic Images},
author = {Zixin Yang and Richard Simon and Cristian A. Linte},
journal= {arXiv preprint arXiv:2302.02294},
year = {2023}
}