用于机器人手术深度估计的立体图像对自监督孪生网络学习
计算机视觉与模式识别
2017-05-24 v1 机器人学
摘要
机器人手术已成为执行微创手术的强大工具，与传统手术相比，在灵活性、精度和 3D 视觉方面具有优势。一种流行的机器人系统是 da Vinci 手术平台，它允许使用增强现实(AR)将术前信息整合到实时手术中。场景深度估计是 AR 的前提条件，因为精确的配准需要术前和术中器官模型之间的 3D 对应关系。在过去十年中，手术场景的深度估计取得了很大进展，例如使用单目或双目腹腔镜 [1,2]。最近，深度学习的进展使得通过卷积神经网络(CNN)进行深度估计成为可能 [3]，但训练需要带有真实深度的大型图像数据集。受 [4] 启发，我们提出了一种用于手术场景深度估计的深度学习框架，该框架采用自监督以实现可扩展的数据获取。我们的框架由一个用于深度预测的自编码器和一个可微空间变换器组成，后者用于在没有真实深度的情况下在立体图像对上训练自编码器。验证是在机器人部分肾切除术中收集的立体视频上进行的。
引用
@article{arxiv.1705.08260,
title = {Self-Supervised Siamese Learning on Stereo Image Pairs for Depth Estimation in Robotic Surgery},
author = {Menglong Ye and Edward Johns and Ankur Handa and Lin Zhang and Philip Pratt and Guang-Zhong Yang},
journal= {arXiv preprint arXiv:1705.08260},
year = {2017}
}
备注
A two-page short report to be presented at the Hamlyn Symposium on Medical Robotics 2017. An extension of this work is on progress