DeepSeek 模型在生物医学自然语言处理中的评估
计算与语言
2025-03-04 v1 人工智能
摘要
大型语言模型（LLMs）的进展显著影响了生物医学自然语言处理（NLP），提升了命名实体识别、关系抽取、事件抽取和文本分类等任务。在此背景下，DeepSeek 系列模型在通用 NLP 任务中展现出广阔潜力，但其在生物医学领域的能力仍未被充分探索。本研究在 12 个数据集上评估了多个 DeepSeek 模型（Distilled-DeepSeek-R1 系列和 DeepSeek-LLMs），涵盖四个关键生物医学 NLP 任务，并将其与最先进的替代方案（Llama3-8B、Qwen2.5-7B、Mistral-7B、Phi-4-14B、Gemma-2-9B）进行基准对比。我们的结果表明，虽然 DeepSeek 模型在命名实体识别和文本分类中表现具有竞争力，但在事件和关系抽取方面仍存在挑战，原因在于精确率-召回率之间的权衡。我们提供了任务特定的模型建议，并指出了未来研究方向。该评估强调了 DeepSeek 模型在生物医学 NLP 中的优势与局限，为其未来部署和优化提供了指导。
引用
@article{arxiv.2503.00624,
title = {An evaluation of DeepSeek Models in Biomedical Natural Language Processing},
author = {Zaifu Zhan and Shuang Zhou and Huixue Zhou and Jiawen Deng and Yu Hou and Jeremy Yeung and Rui Zhang},
journal= {arXiv preprint arXiv:2503.00624},
year = {2025}
}
备注
Plan to submit to AMIA 2025 Annual Symposium. 10 pages