中文

SurgBox:基于智能体的手术室模拟框架与手术副驾驶

人工智能 2024-12-09 v1 计算机视觉与模式识别 人机交互 机器人学

摘要

外科手术,尤其是神经外科手术,是复杂且高风险的情景,给手术团队带来了巨大的认知负担。尽管有意的教育和实践可以增强认知能力,但由于患者安全考虑,手术培训机会仍然有限。为了解决手术培训和操作中的这些认知挑战,我们提出了SurgBox,一个智能体驱动的沙盒框架,用于在沉浸式手术模拟中系统性地增强外科医生的认知能力。具体来说,我们的SurgBox利用大型语言模型(LLM)和定制的检索增强生成(RAG)来真实地复现各种手术角色,为刻意练习提供逼真的模拟环境。我们特别设计了手术副驾驶(Surgery Copilot),一个AI驱动的助手,用于主动协调手术信息流并支持临床决策,从而减轻手术团队在手术过程中的认知负担。通过整合一种新颖的长短期记忆机制,我们的手术副驾驶能够有效平衡即时程序辅助与全面手术知识。使用真实神经外科手术记录进行的大量实验验证了我们的SurgBox框架在增强手术认知能力和支持临床决策方面的有效性。通过提供集成的训练和操作支持解决方案来应对认知挑战,我们的SurgBox框架推进了外科教育和实践,有望改善手术结果和医疗质量。代码可在 https://github.com/franciszchen/SurgBox 获取。

关键词

引用

@article{arxiv.2412.05187,
  title  = {SurgBox: Agent-Driven Operating Room Sandbox with Surgery Copilot},
  author = {Jinlin Wu and Xusheng Liang and Xuexue Bai and Zhen Chen},
  journal= {arXiv preprint arXiv:2412.05187},
  year   = {2024}
}

备注

This work is accepted by IEEE Big Data 2024