零样本商业API能否提供符合监管标准的临床文本去识别？

我们评估了四个用于非结构化医学文本去识别的领先解决方案——Azure Health Data Services、AWS Comprehend Medical、OpenAI GPT-4o和John Snow Labs——在由医学专家标注的48份临床文件数据集上的性能。该分析在实体级别和标记级别上进行，表明John Snow Labs的Medical Language Models解决方案在受保护健康信息（PHI）检测上实现了最高的96% F1分数，超过Azure（91%）、AWS（83%）和GPT-4o（79%）。John Snow Labs不仅是唯一实现监管级别准确性（超越人类专家）的解决方案，还是最具成本效益的解决方案：其成本比Azure和GPT-4o低超过80%，且唯一按固定费用提供服务。其固定成本本地部署模式避免了云端服务按请求计费的递增成本，使其成为可扩展且经济的选择。