集成虚拟现实与大型语言模型用于手术室团队非技术技能培训与评估
人机交互
2026-01-21 v1 人工智能
摘要
尽管有效的团队合作和沟通对手术安全至关重要，但与技能模拟相比，针对非技术技能的结构化培训仍然有限。ACS/APDS 第三阶段基于团队的技能课程呼吁开发可扩展的工具，以便在腹腔镜急症期间教授并客观评估这些能力。我们引入了虚拟手术室团队体验，这是一个多用户虚拟现实平台，将沉浸式团队模拟与大型语言模型分析相结合，用于训练和评估沟通、决策、团队合作和领导力。团队对话使用源自外科医生非技术技能框架的结构化提示进行分析，从而实现行为的自动分类并生成有向交互图，以量化沟通结构和层级。我们实现了气胸和腹腔内出血两种腹腔镜急症场景，以引发真实的压力和协作。12 位外科专业人员参加了 2024 年 SAGES 会议的试点测试，他们评价 VORTeX 直观、沉浸感强，对培养团队合作和沟通很有价值。LLM 持续生成可解释的沟通网络，反映了预期的手术层级结构：外科医生作为核心整合者，护士作为发起者，麻醉医生作为平衡的中间人。通过将沉浸式 VR 与 LLM 驱动的行为分析相结合，VORTeX 为跨分布式训练环境的客观评估和自动化、数据驱动的复盘提供了一个可扩展且符合隐私保护要求的框架。
引用
@article{arxiv.2601.13406,
title = {Integrating Virtual Reality and Large Language Models for Team-Based Non-Technical Skills Training and Evaluation in the Operating Room},
author = {Jacob Barker and Doga Demirel and Cullen Jackson and Anna Johansson and Robbin Miraglia and Darian Hoagland and Stephanie B. Jones and John Mitchell and Daniel B. Jones and Suvranu De},
journal= {arXiv preprint arXiv:2601.13406},
year = {2026}
}
备注
23 pages, 7 figures, 1 table, 2 Appendices