生物医学自然语言处理中的量化大型语言模型：评估与建议

大型语言模型在生物医学自然语言处理中展现出了卓越的能力，然而其规模和计算需求的快速增长构成了在医疗环境中应用的主要障碍，在这些环境中，数据隐私排除了云部署的可能性且资源有限。在本研究中，我们系统评估了量化对12个最先进的大型语言模型的影响，包括通用模型和生物医学专用模型，涵盖了四个关键任务的八个基准数据集：命名实体识别、关系抽取、多标签分类和问答。我们表明，量化大幅减少了GPU内存需求——最高达75%——同时在多种任务上保持了模型性能，使得70B参数模型能够在40GB消费级GPU上部署。此外，领域特定知识和对高级提示方法的响应能力也得到了很大程度的保留。这些发现具有重要的实用和指导价值，突显了量化作为一种实用且有效的策略，能够在生物医学场景中实现大型且高容量语言模型的安全本地部署，从而弥合人工智能技术进步与现实世界临床转化之间的差距。