大型语言模型用于生物医学文献分类

本工作系统而深入地考察了大型语言模型作为文本分类器用于生物医学文献分类的实用性。该研究使用了几种小型和中型开源模型，以及选取的闭源模型，评估的配置范围比以往大多数工作更全面：不同的提示类型、用于生成类别和类别概率预测的输出处理方法，以及 few-shot 示例计数和选择方法。最成功的配置的性能与传统分类算法的性能进行比较。获得的在 15 个具有挑战性的数据集上平均 PR AUC 零-shot 提示下超过 0.4，few-shot 提示下接近 0.5，这分别接近于 naive Bayes 分类器 (0.5)、随机森林算法 (0.5 默认设置或 0.55 通过参数调优) 和微调的 transformer 模型 (0.5)。这些结果确认了大型语言模型作为非平凡领域文本分类器的实用性，并提供了最具前景的配置的实用建议，特别是使用输出标记概率进行类别概率预测。