BioMistral-NLU：通过指令微调实现更具泛化性的医学语言理解

大型语言模型（LLM），如ChatGPT，在大型且多样化的指令遵循语料库上进行微调，并能泛化到新任务。然而，这些经过指令微调的LLM在需要领域知识、细粒度文本理解和结构化数据提取的专业医学自然语言理解（NLU）任务中通常表现不佳。为了弥合这一差距，我们：（1）为7个重要的NLU任务提出了统一的提示格式，（2）利用现有的多样化开源医学NLU语料库，整理了一个指令微调数据集MNLU-Instruct，（3）通过在MNLU-Instruct上微调BioMistral，开发了BioMistral-NLU，一个具有泛化性的医学NLU模型。我们在零样本设置下，从两个广泛采用的医学NLU基准BLUE和BLURB中，评估了BioMistral-NLU在6个重要NLU任务上的表现。我们的实验表明，我们的BioMistral-NLU优于原始的BioMistral以及专有LLM——ChatGPT和GPT-4。我们与数据集无关的提示策略和在多样化NLU任务上的指令微调步骤，增强了LLM在多样化医学NLU任务上的泛化能力。我们的消融实验表明，即使在总训练实例数保持不变的情况下，在更广泛的任务上进行指令微调也能增强下游零样本泛化能力。