识别任何外科器械：释放弱监督数据的力量
计算机视觉与模式识别
2025-05-07 v2
摘要
我们提出 RASO（Recognize Any Surgical Object），一个面向识别外科器械的基础模型，具备在广泛的手术程序和对象类别中，对手术图像和视频的稳健的非集合识别能力。RASO 利用一种新颖的弱监督学习框架，自动从大规模未标注的手术讲座视频中生成标签-图像-文本三元组，显著降低了对手动标注的需求。我们的可扩展数据生成管道收集了 2,200 个手术程序，产生 360 万个标签标注，覆盖 2,066 个独特手术标签。我们的实验表明，在零样态设置下，RASO 在四个标准手术基准数据集上分别实现了 2.9、4.5、10.6 和 7.2 的 mAP 提升，显著超越了现有在监督式手术动作识别任务中的最先进模型。代码、模型和演示均可在 https://ntlm1686.github.io/raso 查阅。
关键词
引用
@article{arxiv.2501.15326,
title = {Recognize Any Surgical Object: Unleashing the Power of Weakly-Supervised Data},
author = {Jiajie Li and Brian R Quaranto and Chenhui Xu and Ishan Mishra and Ruiyang Qin and Dancheng Liu and Peter C W Kim and Jinjun Xiong},
journal= {arXiv preprint arXiv:2501.15326},
year = {2025}
}