ZEAL：基于统一基础模型的零样图工具推断外科技能评估
计算机视觉与模式识别
2024-07-04 v1 图像与视频处理
摘要
外科技能评估对于确保患者安全和提高外科结果至关重要。本研究通过引入 ZEAL（surgical skill assessment with Zero-shot surgical tool segmentation with a unifiEd foundAtion modeL）来解决高效客观评估方法的需求。ZEAL 使用通过统一基础模型获得的外科器械分割掩码进行技能评估。通过文本提示进行零样推断，ZEAL 预测分割掩码，捕捉器械及其周环境的关键特征。利用稀疏卷积神经网络和分割掩码，ZEAL 提取前景（器械）和背景的特征向量。长短期记忆网络（LSTM）对编码后的向量进行编码，建模手术视频中的时序动态。将 LSTM 编码后的向量组合，ZEAL 产生外科技能评分，为技能水平提供客观衡量标准。与使用开放数据集的传统方法进行比较分析表明，ZEAL 的优越性，确认其在推动外科培训和评估方面的潜力。这种创新方法解决了传统监督学习技术的挑战，为提高外科护理质量和患者结果 paving the way。
引用
@article{arxiv.2407.02738,
title = {ZEAL: Surgical Skill Assessment with Zero-shot Tool Inference Using Unified Foundation Model},
author = {Satoshi Kondo},
journal= {arXiv preprint arXiv:2407.02738},
year = {2024}
}