中文

评估 ChatGPT 在门诊分诊指导中的应用:一项比较研究

计算与语言 2024-05-03 v1 人工智能 人机交互

摘要

人工智能(AI)在医疗保健中的整合展现出提升运营效率和健康结果的变革潜力。诸如 ChatGPT 等大型语言模型(LLM)已展现出支持医疗决策的能力。将 LLM 嵌入医疗系统正成为医疗保健发展的一个有前景的趋势。已有研究考察了 ChatGPT 解决急诊科分诊问题的潜力,但鲜有研究探索其在门诊部门的应用。以简化工作流程和提高门诊分诊效率为重点,本研究专门旨在评估 ChatGPT 在门诊指导中提供回复的一致性,包括版本内回复分析和版本间比较。对于版本内分析,结果表明 ChatGPT-4.0 的内部回复一致性显著高于 ChatGPT-3.5(p=0.03),且两者在首选推荐上均具有中等一致性(4.0 为 71.2%,3.5 为 59.6%)。然而,版本间的一致性相对较低(平均一致性得分=1.43/3,中位数=1),表明两个版本之间匹配的推荐很少。此外,在比较中只有 50% 的首选推荐完全匹配。有趣的是,ChatGPT-3.5 的回复比 ChatGPT-4.0 更可能完整(p=0.02),表明两个版本在信息处理和回复生成上可能存在差异。这些发现为 AI 辅助门诊运营提供了见解,同时也促进了对 LLM 在医疗保健应用中的潜力和局限性的探索。未来的研究可侧重于基于人因工程和人机工程学原则,仔细优化医疗保健系统中的 LLM 和 AI 整合,以精确满足有效门诊分诊的具体需求。

关键词

引用

@article{arxiv.2405.00728,
  title  = {Evaluating the Application of ChatGPT in Outpatient Triage Guidance: A Comparative Study},
  author = {Dou Liu and Ying Han and Xiandi Wang and Xiaomei Tan and Di Liu and Guangwu Qian and Kang Li and Dan Pu and Rong Yin},
  journal= {arXiv preprint arXiv:2405.00728},
  year   = {2024}
}

备注

8 pages, 1 figure, conference(International Ergonomics Association)