中文

生物医学本体术语映射至ID:域预valence对预测准确性的影响

计算与语言 2025-05-13 v2 人工智能

摘要

本研究评估了大型语言模型(LLMs)将生物医学本体术语映射到其相应本体ID的能力,涵盖Human Phenotype Ontology(HPO)、Gene Ontology(GO)和UniProtKB等本体。我们将本体ID在PubMed Central(PMC)数据集中的出现次数作为其在生物医学文献中出现频率的代理指标,考察了本体ID预valence与映射准确性之间的关系。结果表明,本体ID的预valence强烈预测了HPO术语映射至HPO ID、GO术语映射至GO ID以及蛋白质名称映射至UniProtKB访问号的准确性。生物医学文献中本体ID的更高预valence与更高的映射准确性相关。基于接收者工作特征曲线(ROC)的预测模型确认了这一关系。相比之下,这一模式不适用于将蛋白质名称映射至Human Genome Organisation(HUGO)的基因符号。GPT-4在将蛋白质名称映射至HUGO基因符号方面实现了很高的基线性能(95%),映射准确性不受预valence影响。我们提出,HUGO基因符号在文献中高频出现的事实导致这些符号被词汇化,使GPT-4能够以高准确率将蛋白质名称映射至HUGO基因符号。这些发现凸显了LLMs在映射低预valence本体ID方面的局限性,强调了在生物医学应用中纳入本体ID预valence进行训练和评估的重要性。

关键词

引用

@article{arxiv.2409.13746,
  title  = {Mapping Biomedical Ontology Terms to IDs: Effect of Domain Prevalence on Prediction Accuracy},
  author = {Thanh Son Do and Daniel B. Hier and Tayo Obafemi-Ajayi},
  journal= {arXiv preprint arXiv:2409.13746},
  year   = {2025}
}

备注

Presented at 2025 IEEE Conference on Artificial Intelligence (CAI). Santa Clara, CA. May 5, 2025