通过 2D-3D 配准获得配对深度的结肠镜 3D 视频数据集
计算机视觉与模式识别
2023-10-05 v3
摘要
筛查性结肠镜检查是多种 3D 计算机视觉技术（包括深度估计、表面重建和缺失区域检测）的重要临床应用。然而，由于获取真实值数据的困难，这些技术在真实结肠镜视频中的开发、评估和比较在很大程度上仍停留在定性层面。在这项工作中，我们提出了一个结肠镜 3D 视频数据集 (C3VD)，该数据集使用高清临床结肠镜和高保真结肠模型采集，用于基准测试结肠镜检查中的计算机视觉方法。我们引入了一种新颖的多模态 2D-3D 配准技术，将光学视频序列与已知 3D 模型的真实值渲染视图进行配准。通过使用生成对抗网络将光学图像转换为深度图，并使用进化优化器对齐边缘特征，来配准不同的模态。在可获得无误差真实值的仿真实验中，该配准方法实现了 0.321 毫米的平均平移误差和 0.159 度的平均旋转误差。该方法还利用了视频信息，与单帧配准相比，平移配准精度提高了 55.6%，旋转配准精度提高了 60.4%。通过配准 22 个短视频序列，生成了总共 10,015 帧，并带有成对的真实值深度、表面法线、光流、遮挡、六自由度位姿、覆盖图和 3D 模型。该数据集还包括由胃肠病学家采集的筛查视频，并带有成对的真实值位姿和 3D 表面模型。数据集和配准源代码可在 durr.jhu.edu/C3VD 获取。
引用
@article{arxiv.2206.08903,
title = {Colonoscopy 3D Video Dataset with Paired Depth from 2D-3D Registration},
author = {Taylor L. Bobrow and Mayank Golhar and Rohan Vijayan and Venkata S. Akshintala and Juan R. Garcia and Nicholas J. Durr},
journal= {arXiv preprint arXiv:2206.08903},
year = {2023}
}