利用AI与语音接口自动化超声医师的超声指令
图像与视频处理
2024-11-21 v1 人工智能
计算机视觉与模式识别
摘要
本研究提出了一种先进的AI驱动超声成像系统,该系统集成了实时图像处理、器官追踪和语音命令,以提高临床实践中诊断的效率和准确性。传统的超声诊断通常需要大量时间,并且由于用户交互而引入一定程度的主观性。这一创新解决方案的目标是利用人工智能、计算机视觉和语音技术,为超声医师提供更可预测、更高效的成像程序。该系统的功能采用了计算机视觉和深度学习算法,特别是采用Detectron2中的Mask R-CNN模型进行器官和关键解剖标志的语义分割。这种自动化通过在最少人工输入的情况下提取有价值的信息,提高了诊断准确性。此外,该系统还包括语音识别功能,允许免提操作,使用户能够通过诸如“冻结”或“肝脏”等命令控制系统,同时保持对患者的关注。该架构包括视频处理和实时分割模块,使系统准备好执行基本的成像功能,如冻结和放大帧。针对纤维化检测优化的肝脏组织病理学模块达到了98.6%的惊人准确率。此外,器官分割模块输出50%至95%之间的置信度,证明了其在器官检测中的有效性。
关键词
引用
@article{arxiv.2411.13006,
title = {Automating Sonologists USG Commands with AI and Voice Interface},
author = {Emad Mohamed and Shruti Tiwari and Sheena Christabel Pravin},
journal= {arXiv preprint arXiv:2411.13006},
year = {2024}
}