内窥镜图像的零样本单目度量深度估计
计算机视觉与模式识别
2025-09-24 v1
摘要
近年来，由于基础模型特别是基于Transformer的网络的迅猛发展，单目相对和度量深度估计取得了巨大进步。尽管我们开始看到其在内窥镜图像领域的应用，但该领域仍缺乏稳健的基准测试和高质量数据集。本文通过在真实的、未见过的内窥镜图像上评估最先进的（度量和相对）深度估计模型，提供了一个全面的基准测试，为它们在临床场景中的泛化能力和性能提供了关键见解，从而解决了这些局限性。此外，我们引入并发布了一个新的合成数据集（EndoSynth），其中包含配对的真实度量深度和分割掩码的内窥镜手术器械，旨在弥合合成数据与真实世界数据之间的差距。我们证明，使用我们的合成数据集对深度基础模型进行微调，可显著提高在大多数未见真实数据上的准确性。通过提供基准测试和合成数据集，这项工作推进了内窥镜图像深度估计领域，并作为未来研究的重要资源。项目页面、EndoSynth数据集和训练权重可在 https://github.com/TouchSurgery/EndoSynth 获取。
引用
@article{arxiv.2509.18642,
title = {Zero-shot Monocular Metric Depth for Endoscopic Images},
author = {Nicolas Toussaint and Emanuele Colleoni and Ricardo Sanchez-Matilla and Joshua Sutcliffe and Vanessa Thompson and Muhammad Asad and Imanol Luengo and Danail Stoyanov},
journal= {arXiv preprint arXiv:2509.18642},
year = {2025}
}
备注
Accepted at MICCAI 2025 DEMI Workshop