大语言模型实现手术导航中的情境感知增强现实
人机交互
2024-12-25 v2
摘要
可穿戴增强现实 (AR) 技术正在为手术导航系统的变革获得认可。随着这些技术的演变，选择控制系统的正确交互方法变得至关重要。我们的工作引入了语音控制用户界面 (VCUI) 用于手术 AR 辅助系统 (ARAS)，专为胰腺手术设计，集成了大语言模型 (LLM)。采用混合方法的研究方法，我们在模拟手术任务和胰腺手术期间评估了基于 LLM 的设计的可用性，比较其性能与使用语音命令的传统 VCUI。我们的发现表明，我们提出的基于 LLM 的 VCUI 是可用的，任务完成时间和认知负荷显著低于语音命令。此外，来自手术医生的定性见解与定量数据一致，显示出对基于 LLM 的 VCUI 的强烈偏好。手术医生强调其直观性，并突出了基于 LLM 的 VCUI 在加速手术环境决策潜力。
引用
@article{arxiv.2412.16597,
title = {LLMs Enable Context-Aware Augmented Reality in Surgical Navigation},
author = {Hamraz Javaheri and Omid Ghamarnejad and Paul Lukowicz and Gregor Alexander Stavrou and Jakob Karolus},
journal= {arXiv preprint arXiv:2412.16597},
year = {2024}
}
备注
32 pages, 9 figures