CaRTS：基于因果驱动的从视觉与运动学数据中进行机器人工具分割
机器人学
2022-06-29 v3 计算机视觉与模式识别
摘要
在机器人辅助手术期间基于视觉的机器人工具分割可支持增强现实反馈等下游应用，同时容许机器人运动学的不准确性。随着深度学习的引入，许多方法被提出直接且仅从图像解决器械分割问题。尽管这些方法在基准数据集上取得了显著进展，但其鲁棒性方面的根本挑战依然存在。我们提出 CaRTS，一种因果驱动的机器人工具分割算法，其设计基于机器人工具分割任务的互补因果模型。CaRTS 并非直接从观测图像推断分割掩码，而是通过前向运动学与可微渲染，更新初始错误的机器人运动学参数，端到端地优化图像特征相似度，从而将工具模型与图像观测迭代对齐。我们在合成数据以及来自 dVRK 的真实数据上对 CaRTS 与竞争技术进行基准测试，这些数据在精确控制的场景中生成以允许反事实合成。在训练域测试数据上，CaRTS 取得 93.4 的 Dice 分数，在反事实改变的测试数据（呈现低亮度、烟雾、血液及改变的背景图案）上仍保持良好（Dice 分数 91.8）。相比之下，SOTA 基于图像的方法的 Dice 分数分别为 95.0 与 86.7。未来工作将包括加速 CaRTS 以实现视频帧率，并估计遮挡在实践中的影响。尽管存在这些局限，我们的结果令人鼓舞：除实现高分割精度外，CaRTS 还提供真实机器人运动学的估计，这可能有益于力估计等应用。代码见：https://github.com/hding2455/CaRTS
引用
@article{arxiv.2203.09475,
title = {CaRTS: Causality-driven Robot Tool Segmentation from Vision and Kinematics Data},
author = {Hao Ding and Jintan Zhang and Peter Kazanzides and Jie Ying Wu and Mathias Unberath},
journal= {arXiv preprint arXiv:2203.09475},
year = {2022}
}
备注
Accepted to MICCAI 2022