利用时间一致性将相对单目深度迁移至手术视觉
计算机视觉与模式识别
2024-10-22 v2
摘要
相对单目深度是从单张图像推断出仅相差平移和缩放的深度，是一个活跃的研究课题。最近在大型多样化元数据集上训练的深度学习模型，在自然图像领域提供了卓越的性能。然而，提供内窥镜图像真实深度标签的数据集寥寥无几，使得从头训练此类模型变得不可行。本研究探讨了将这些模型迁移到手术领域，并提出了一种有效且简单的方法，即利用时间一致性自监督来改进标准监督。我们表明，在迁移到内窥镜这种低数据量场景时，时间一致性显著优于单纯的监督训练，并胜过该任务中流行的自监督技术。此外，我们展示了我们的方法大幅优于内窥镜领域内的最先进方法。我们还发布了代码、模型以及集成的元数据集 Meta-MED，为未来的工作建立了强有力的基准。
引用
@article{arxiv.2403.06683,
title = {Transferring Relative Monocular Depth to Surgical Vision with Temporal Consistency},
author = {Charlie Budd and Tom Vercauteren},
journal= {arXiv preprint arXiv:2403.06683},
year = {2024}
}