大语言模型作为医学编码选择器：基于国际初级诊断分类（ICPC-2）的基准测试
摘要
背景：医学编码结构化 healthcare data 以用于 research、质量监测和政策制定。本研究评估 large language models（LLMs）使用 domain-specific search engine 输出来分配 ICPC-2 编码的潜力。方法：我们构建了包含 437 份巴西葡萄牙语临床表达的数据集，每份均标注了 ICPC-2 编码。语义搜索引擎（OpenAI 的 text-embedding-3-large）从 73,563 条标注概念中检索候选结果。对每条查询，33 个 LLMs 被要求检索结果后选取最匹配的 ICPC-2 编码。性能以 F1-score 为主要指标，同时衡量 token 使用量、成本、响应时间和 format adherence。结果：28 个模型实现 F1-score > 0.8；10 个超过 0.85。最佳表现包括 gpt-4.5-preview、o3 和 gemini-2.5-pro。通过优化检索器可提升约 4 分。大多数模型以预期格式返回有效编码， hallucinations 显著降低。小型模型（<3B）在 format handling 和输入长度方面表现不足。结论：LLMs 在无需 fine-tuning 的情况下展现出强大的 ICPC-2 编码自动化潜力。本工作提供基准测试并指出挑战，但受限于数据集范围和 setup，发现需更广泛、多语言、端到端的临床验证。
引用
@article{arxiv.2507.14681,
title = {Large Language Models as Medical Codes Selectors: a benchmark using the International Classification of Primary Care},
author = {Vinicius Anjos de Almeida and Vinicius de Camargo and Raquel Gómez-Bravo and Egbert van der Haring and Kees van Boven and Marcelo Finger and Luis Fernandez Lopez},
journal= {arXiv preprint arXiv:2507.14681},
year = {2025}
}
备注
Accepted at NeurIPS 2025 as a poster presentation in The Second Workshop on GenAI for Health: Potential, Trust, and Policy Compliance (https://openreview.net/forum?id=Kl7KZwJFEG). 33 pages, 10 figures (including appendix), 15 tables (including appendix). To be submitted to peer-reviewed journal. For associated code repository, see https://github.com/almeidava93/llm-as-code-selectors-paper