AI辅助临床文档：Sporo AI Scribe与GPT-4o mini比较研究
人工智能
2024-10-22 v1
摘要
AI驱动的医学记者近年来成为缓解医疗保健中文档记录负担的有前景解决方案。环境AI记者提供实时转录和自动数据输入到电子健康记录(EHR)，有望提高效率、降低成本并提升可扩展性。尽管已取得初步成功，但AI记者的准确性至关重要，因为错误可能导致严重的临床后果。此外，AI记者面临处理医疗语言复杂性和变异性以及确保敏感患者数据隐私的挑战。本案例研究旨在评估Sporo Health的AI记者——一种利用精调医学LLM的多智能体系统——通过比较其在多个性能指标上的表现。使用去标识化的患者对话转录数据集，将AI生成的摘要与临床医生生成的笔记(基准真实值)进行比较，基于临床内容回忆、精确率和F1分数进行评估。进一步通过医学生和医生使用的修改版《医师文档质量量表》(PDQI-9)进行满意度评估。结果显示，Sporo AI在召回率、精确率和总体F1分数上始终优于GPT-4o mini。此外，Sporo生成的摘要在准确性、完整性和相关性方面受到更好的评价，幻觉更少。这些发现表明，Sporo AI Scribe是临床文档的有效可靠工具，既提高了临床工作流程的效率，又保持了高水平的隐私和安全标准。
关键词
引用
@article{arxiv.2410.15528,
title = {Improving Clinical Documentation with AI: A Comparative Study of Sporo AI Scribe and GPT-4o mini},
author = {Chanseo Lee and Sonu Kumar and Kimon A. Vogt and Sam Meraj},
journal= {arXiv preprint arXiv:2410.15528},
year = {2024}
}