一种实时时空 AI 模型分析开放手术视频中的技能
计算机视觉与模式识别
2022-01-11 v1 人工智能
摘要
开放手术是全球主导的手术形式。人工智能（AI）有优化外科实践并改善患者预后的潜力，但相关努力主要集中于微创技术。我们的工作通过从 YouTube 整理迄今最大的开放手术视频数据集来克服训练 AI 模型的数据局限：来自 50 个国家上传的 23 种手术的 1997 个视频。利用该数据集，我们开发了能实时理解手术行为、手与工具——手术流程与外科医生技能的基本构件——的多任务 AI 模型。我们展示我们的模型在不同手术类型与环境间泛化。为说明此泛化能力，我们直接将 YouTube 训练的模型应用于分析在某学术医疗中心前瞻性收集的开放手术，并识别出与手部运动效率相关的手术技能运动学描述符。我们的开放手术标注视频（AVOS）数据集与训练模型将公开以供手术 AI 的进一步发展。
引用
@article{arxiv.2112.07219,
title = {A real-time spatiotemporal AI model analyzes skill in open surgical videos},
author = {Emmett D. Goodman and Krishna K. Patel and Yilun Zhang and William Locke and Chris J. Kennedy and Rohan Mehrotra and Stephen Ren and Melody Y. Guan and Maren Downing and Hao Wei Chen and Jevin Z. Clark and Gabriel A. Brat and Serena Yeung},
journal= {arXiv preprint arXiv:2112.07219},
year = {2022}
}
备注
22 pages, 4 main text figures, 7 extended data figures, 4 extended data tables