RIDE：用于内窥镜的旋转等变关键点检测与不变描述的自监督学习
计算机视觉与模式识别
2023-09-19 v1
摘要
与自然图像不同，内窥镜中并不存在明确的相机正立朝向概念。因此内窥镜视频常包含大幅旋转运动，这要求关键点检测与描述算法对这些条件具有鲁棒性。尽管多数经典方法通过设计实现旋转等变检测与不变描述，许多基于学习的方法仅能学到一定程度内的鲁棒性。同时，在中等旋转下基于学习的方法常优于经典方法。为解决此不足，本文提出 RIDE，一种基于学习的旋转等变检测与不变描述方法。遵循群等变学习的最新进展，RIDE 在其架构中隐式建模旋转等变性。RIDE 在大规模内窥镜图像精选集上以自监督方式训练，无需训练数据的人工标注。我们在 SuPeR 数据集上的手术组织追踪任务以及经改用的 SCARED 数据集上的相对位姿估计任务中测试了 RIDE。此外我们进行了明确研究以展示其对大幅旋转的鲁棒性。与近期基于学习的方法和经典方法的对比表明，RIDE 在匹配与相对位姿估计任务上确立了新的 SOTA 性能，并在手术组织追踪上取得有竞争力的分数。
引用
@article{arxiv.2309.09563,
title = {RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint Detection and Invariant Description for Endoscopy},
author = {Mert Asim Karaoglu and Viktoria Markova and Nassir Navab and Benjamin Busam and Alexander Ladikos},
journal= {arXiv preprint arXiv:2309.09563},
year = {2023}
}
备注
8 pages, 5 figures