EHR-MCP：基于模型上下文协议的大语言模型临床信息检索真实世界评估
人工智能
2025-09-22 v1 计算与语言
人机交互
信息检索
摘要
背景：大语言模型（LLM）在医学领域展现出潜力，但其在医院的部署受到电子健康记录（EHR）系统受限访问的制约。模型上下文协议（MCP）实现了 LLM 与外部工具之间的集成。目的：评估通过 MCP 连接到 EHR 数据库的 LLM 能否在真实医院环境中自主检索临床相关信息。方法：我们开发了 EHR-MCP，一个与医院 EHR 数据库集成的自定义 MCP 工具框架，并通过 LangGraph ReAct 智能体使用 GPT-4.1 与其交互。测试了六项任务，源自感染控制团队（ICT）的用例。对在 ICT 会议上讨论的八名患者进行了回顾性分析。测量了与医生生成的黄金标准的一致性。结果：LLM 持续选择并执行正确的 MCP 工具。除两项任务外，所有任务均达到了近乎完美的准确率。在需要时间相关计算的复杂任务中性能较低。大多数错误源于不正确的参数或对工具结果的误解。EHR-MCP 的响应是可靠的，尽管长且重复的数据有超出上下文窗口的风险。结论：LLM 可以在真实医院环境中通过 MCP 工具从 EHR 检索临床数据，在简单任务中实现近乎完美的性能，同时突出了复杂任务中的挑战。EHR-MCP 提供了安全、一致的数据访问基础设施，可作为医院 AI 智能体的基础。未来的工作应超越检索扩展到推理、生成和临床影响评估，为生成式 AI 有效融入临床实践铺平道路。
引用
@article{arxiv.2509.15957,
title = {EHR-MCP: Real-world Evaluation of Clinical Information Retrieval by Large Language Models via Model Context Protocol},
author = {Kanato Masayoshi and Masahiro Hashimoto and Ryoichi Yokoyama and Naoki Toda and Yoshifumi Uwamino and Shogo Fukuda and Ho Namkoong and Masahiro Jinzaki},
journal= {arXiv preprint arXiv:2509.15957},
year = {2025}
}