使用学习型特征描述子的极稠密点对应
计算机视觉与模式识别
2020-03-30 v2
摘要
来自内窥镜视频的高质量 3D 重建在许多临床应用中起着重要作用，包括手术导航，其可实现直接的视频-CT 配准。虽然存在许多通用的多视图 3D 重建方法，但这些方法往往在内窥镜视频上无法提供令人满意的性能。部分原因在于建立成对点对应从而驱动重建的局部描述子，在面对缺乏纹理的解剖表面时表现不佳。基于学习的稠密描述子通常具有更大的感受野，能够编码全局信息，可用于消除匹配歧义。在这项工作中，我们提出了一种有效的自监督训练方案和用于稠密描述子学习的新型损失设计。在与近期局部和稠密描述子在内部鼻窦内窥镜数据集上的直接比较中，我们证明我们提出的稠密描述子能够泛化到未见的患者和镜种，从而在模型稠密度和完整性方面大幅改进运动恢复结构（SfM）的性能。我们还在公开稠密光流数据集和小型 SfM 公开数据集上评估了我们的方法，以进一步证明方法的有效性和通用性。源代码可在 https://github.com/lppllppl920/DenseDescriptorLearning-Pytorch 获取。
引用
@article{arxiv.2003.00619,
title = {Extremely Dense Point Correspondences using a Learned Feature Descriptor},
author = {Xingtong Liu and Yiping Zheng and Benjamin Killeen and Masaru Ishii and Gregory D. Hager and Russell H. Taylor and Mathias Unberath},
journal= {arXiv preprint arXiv:2003.00619},
year = {2020}
}
备注
The work has been accepted for publication in CVPR 2020