Surgment：支持基于视频的手术学习的分割赋能语义搜索及视觉问题与反馈创建
人机交互
2024-06-27 v1 计算机视觉与模式识别
摘要
视频是外科受训者进入手术室 (OR) 前准备的重要学习材料。在这项工作中，我们探索丰富基于视频的手术学习体验的技术。我们提出了 Surgment，这是一个帮助专家外科医生基于手术录像创建带有反馈的练习的系统。Surgment 由基于少样本学习的流水线 (SegGPT+SAM) 驱动，用于分割手术场景，准确率达到 92%。该分割流水线实现了从形成性研究中外科医生所需的创建视觉问题和反馈的功能。Surgment 使外科医生能够：1) 通过草图检索感兴趣的帧，以及 2) 设计针对特定解剖组件并提供视觉反馈的练习。在一项涉及 11 名外科医生的评估研究中，参与者称赞了通过草图搜索识别感兴趣帧的方法，并发现生成的基于图像的问题和反馈具有很高的教育价值。
引用
@article{arxiv.2402.17903,
title = {Surgment: Segmentation-enabled Semantic Search and Creation of Visual Question and Feedback to Support Video-Based Surgery Learning},
author = {Jingying Wang and Haoran Tang and Taylor Kantor and Tandis Soltani and Vitaliy Popov and Xu Wang},
journal= {arXiv preprint arXiv:2402.17903},
year = {2024}
}