基于多摄像机系统的开放手术器械分类与左右手使用情况识别
计算机视觉与模式识别
2021-11-12 v1
摘要
目的：本工作的目标是利用多摄像机视频对开放手术器械进行分类，并识别每只手所持的器械。多摄像机系统有助于避免开放手术视频数据中的遮挡。此外，结合全景摄像机（覆盖整个手术野）与特写摄像机（聚焦手部动作与解剖结构）等多个视角，可提供更全面的手术工作流视图。然而，多摄像机数据融合带来新挑战：某器械可能在一个摄像机中可见而在另一个中不可见。因此，我们将全局真值定义为无论可见性如何均被使用的器械。故系统需在器械移出画面后长时间记忆，同时对视频中可见的变化快速响应。方法：受试者（n=48）执行模拟开放肠修补术。使用全景与特写两台摄像机。YOLOv5用于器械与手部检测。采用以30帧每秒（fps）下1秒窗口的高频LSTM，以及以3 fps下40秒窗口的低频LSTM进行空间、时间与多摄像机融合。结果：六种系统的准确率与F1为：全景（0.88/0.88）、特写（0.81,0.83）、双摄像机（0.9/0.9）、高频LSTM（0.92/0.93）、低频LSTM（0.9/0.91），以及我们的最终架构多摄像机分类器（0.93/0.94）。结论：通过结合来自多摄像机阵列的高fps与低fps系统，我们提升了全局真值的分类能力。
引用
@article{arxiv.2111.06098,
title = {Open surgery tool classification and hand utilization using a multi-camera system},
author = {Kristina Basiev and Adam Goldbraikh and Carla M Pugh and Shlomi Laufer},
journal= {arXiv preprint arXiv:2111.06098},
year = {2021}
}
备注
12 pages, 3 figures, submitted to IPCAI 2022