基本手术动作的通用识别以实现技能评估与视觉-语言模型驱动的手术规划
计算机视觉与模式识别
2026-03-16 v1
摘要
人工智能、成像技术与大型语言模型有潜力变革手术实践、培训与自动化。理解与建模基本手术动作（BSA）——任何手术中操作的基本单位——对于推动该领域发展至关重要。本文提出了包含10种基本动作、覆盖6个手术专科、超过11,000个视频片段的BSA数据集，是目前规模最大的。基于该BSA数据集，我们开发了一种新的基础模型，实现对基本动作的通用识别。我们的方案在实验中表现出跨专科鲁棒性能，验证于不同程序类型和各种身体部位的数据集。此外，我们通过基于域特定知识的前列腺切除术技能评估，以及基于大型视觉-语言模型的胆囊切除术和肾切除术动作规划，展示了BAS基础模型所能实现的下游应用。多国外科医生对动作规划可解释文本的语言模型输出进行评估，表明其临床相关性。这些发现表明，基本手术动作可以在各种场景中被可靠识别，精准的BSA理解模型本质上可以促进复杂应用，加速手术超智能的实现。
引用
@article{arxiv.2603.12787,
title = {Generalized Recognition of Basic Surgical Actions Enables Skill Assessment and Vision-Language-Model-based Surgical Planning},
author = {Mengya Xu and Daiyun Shen and Jie Zhang and Hon Chi Yip and Yujia Gao and Cheng Chen and Dillan Imans and Yonghao Long and Yiru Ye and Yixiao Liu and Rongyun Mai and Kai Chen and Hongliang Ren and Yutong Ban and Guangsuo Wang and Francis Wong and Chi-Fai Ng and Kee Yuan Ngiam and Russell H. Taylor and Daguang Xu and Yueming Jin and Qi Dou},
journal= {arXiv preprint arXiv:2603.12787},
year = {2026}
}
备注
34 pages, 8 figures