通过对抗式深度预测增强的SLAM内窥镜
图像与视频处理
2019-07-02 v1 计算机视觉与模式识别
机器人学
摘要
由于图像特征稀疏以及尺寸限制导致无法直接进行深度感知，医学内窥镜仍是同时定位与地图构建（SLAM）的一项具有挑战性的应用。我们提出了一种SLAM方法，其融合了由对抗训练的卷积神经网络（CNN）对单目内窥镜图像做出的深度预测。该深度网络使用简单结肠模型的合成图像进行训练，然后利用从人类结肠计算机断层扫描测量中渲染出的域随机化照片级真实图像进行微调。每幅图像都配有无误差深度图以进行监督对抗学习。随后将单目RGB图像与相应的深度预测融合，从而在内窥镜推进通过胃肠道时实现稠密重建与拼接。我们的初步结果表明，将单目深度估计纳入SLAM架构能够实现内窥镜场景的稠密重建。
引用
@article{arxiv.1907.00283,
title = {SLAM Endoscopy enhanced by adversarial depth prediction},
author = {Richard J. Chen and Taylor L. Bobrow and Thomas Athey and Faisal Mahmood and Nicholas J. Durr},
journal= {arXiv preprint arXiv:1907.00283},
year = {2019}
}