基础大语言模型能否辅助制药制造调查？
计算与语言
2024-04-25 v1
摘要
生成式预训练转换器（GPT）和大语言模型Meta AI（LLaMA）等通用大型语言模型（LLM）近年来备受关注。已有证据表明，这些模型在various自然语言处理任务中表现卓越。然而，如何将其应用于特定领域并创造价值仍是未知数。本文聚焦于制药制造调查这一具体场景，提出利用组织中制造事件和偏差的历史记录可有助于解决新案件或降低新制造方案的风险。我们使用来自不同产品线的少量且多样化的真实制造偏差数据集，对三个通用LLM（GPT-3.5、GPT-4和Claude-2）在上述目标相关任务中的能力进行评估与量化。具体而言，（1）评估LLM在从非结构化数据中提取特定信息（如案件的根本原因）的自动化能力，以及（2）通过在历史记录数据库上进行语义搜索来识别相似或相关偏差的可能性。我们的结果表明，GPT-4和Claude-2在信息提取任务中表现出高准确率，但也讨论了LLM在看似推理与幻觉行为之间的复杂互动作为潜在风险因素。此外，我们展示，可通过对偏差描述的向量嵌入进行语义搜索来识别相似记录（如具有相似缺陷类型的记录），并具有较高的识别准确率。我们进一步讨论了提高相似记录识别准确性的措施。
引用
@article{arxiv.2404.15578,
title = {Can Foundational Large Language Models Assist with Conducting Pharmaceuticals Manufacturing Investigations?},
author = {Hossein Salami and Brandye Smith-Goettler and Vijay Yadav},
journal= {arXiv preprint arXiv:2404.15578},
year = {2024}
}
备注
13 pages, 3 figures