PharmaGPT：面向生物制药与化学领域的领域特定大语言模型
计算与语言
2024-07-10 v3 人工智能
摘要
大语言模型（LLMs）通过最小化复杂特征工程需求，彻底变革了自然语言处理（NLP）。然而，LLMs 在生物制药和化学等专业领域的应用仍鲜有探索。这些领域特征复杂术语、专业知识，以及对精确性的高要求，常使通用 LLMs 力不够众。本研究引入 PharmaGPT，一套为生物制药和化学领域专门训练的大语言模型，参数量为 130 亿和 700 亿。我们的评估显示，PharmaGPT 在 NAPLEX 等特定领域基准测试中超越现有通用模型，展现出卓越的领域任务能力。值得注意的是，尽管模型参数数量仅为通用大模型的一小部分，有时甚至仅为十分之一，PharmaGPT 仍实现了优异性能。这一进展为生物制药和化学领域的 LLMs 树立了新基准，弥补了专业语言建模的现有差距，也为增强研究与开发、在这些领域实现更精确、更有效的 NLP 应用指明了前景。
引用
@article{arxiv.2406.18045,
title = {PharmaGPT: Domain-Specific Large Language Models for Bio-Pharmaceutical and Chemistry},
author = {Linqing Chen and Weilei Wang and Zilong Bai and Peng Xu and Yan Fang and Jie Fang and Wentao Wu and Lizhi Zhou and Ruiji Zhang and Yubin Xia and Chaobo Xu and Ran Hu and Licong Xu and Qijun Cai and Haoran Hua and Jing Sun and Jin Liu and Tian Qiu and Haowen Liu and Meng Hu and Xiuwen Li and Fei Gao and Yufu Wang and Lin Tie and Chaochao Wang and Jianping Lu and Cheng Sun and Yixin Wang and Shengjie Yang and Yuancheng Li and Lu Jin and Lisha Zhang and Fu Bian and Zhongkai Ye and Lidong Pei and Changyang Tu},
journal= {arXiv preprint arXiv:2406.18045},
year = {2024}
}