微调医学语言模型以提升长情境理解与专业领域能力

大语言模型（LLM）已在 various 专业领域得到广泛应用。通过使用特定领域问答数据集进行微调，这些模型的专业领域知识和问答能力得到了显著提升，例如使用医生-患者问答数据进行微调的医学专业LLM展现出惊人的疾病诊断能力。然而，我们注意到尽管在特定领域知识方面有所提高，医学LLM在长情境理解方面的性能显著下降，尤其是相对于参数数量相似的通用语言模型表现更差。本研究旨在调查医学LLM长情境理解性能下降的现象。我们设计了一系列实验，通过在所有模型上进行开放书籍专业知识考试来评估其长情境阅读能力。通过调整微调过程中通用数据和医学数据的比例和数量，我们可以确定最佳数据组合，以优化专业模型，同时实现长情境性能和特定领域知识之间的平衡。