PoCaPNet:一种利用语音与 X 射线图像进行手术阶段识别的新方法
人机交互
2023-12-12 v1
摘要
手术阶段识别是开发情境感知智能系统的挑战性且必要的任务,此类系统可支持医务人员以提供更好的患者护理和高效的手术室管理。本文中,我们提出一种手术阶段识别框架,首次采用基于语音与 X 射线图像的多阶段时间卷积网络。我们使用包含 31 例 port-catheter placement(导管置入)手术的数据集评估所提方法,在八个手术阶段上报告了 82.56% 的逐帧准确率。此外,我们探究了时间模型中的设计选择以及类不平衡问题的解决方案。我们的实验表明,语音与 X 射线数据可有效用于手术阶段识别,为未来手术室中语音助手的开发奠定基础。
引用
@article{arxiv.2305.15993,
title = {PoCaPNet: A Novel Approach for Surgical Phase Recognition Using Speech and X-Ray Images},
author = {Kubilay Can Demir and Tobias Weise and Matthias May and Axel Schmid and Andreas Maier and Seung Hee Yang},
journal= {arXiv preprint arXiv:2305.15993},
year = {2023}
}
备注
5 Pages, 3 figures, INTERSPEECH 2023