结合深度学习与几何特征用于胃肠道内基于图像的定位
计算机视觉与模式识别
2020-05-15 v2
摘要
在胃肠道（GI）中跟踪单目结肠镜是一项具有挑战性的问题，因为图像存在形变、纹理模糊和外观显著变化。它们极大限制了传统基于几何方法的跟踪能力。尽管深度学习（DL）可克服这些问题，但有限的标注数据是前沿 DL 方法的障碍。考虑到这些，我们提出一种新颖方法，将 DL 方法与传统的基于特征的方法相结合，以在少量训练数据下实现更好的定位。我们的方法通过引入孪生网络（Siamese network）结构对分割训练图像集中最接近的区域进行少样本分类，充分利用了两者的优势。分类标签进一步用于初始化镜身位姿。为充分利用训练数据集，训练集中区域内预生成的三角化地图点与观测配准，并有助于估计测试图像的最优位姿。所提出的混合方法经过广泛测试并与现有方法比较，结果表明相较传统基于几何或基于 DL 的定位有显著改进。相对于前沿方法，精度提升了 28.94%（位置）和 10.97%（朝向）。
引用
@article{arxiv.2005.05481,
title = {Combining Deep Learning with Geometric Features for Image based Localization in the Gastrointestinal Tract},
author = {Jingwei Song and Mitesh Patel and Andreas Girgensohn and Chelhwon Kim},
journal= {arXiv preprint arXiv:2005.05481},
year = {2020}
}