面向阿拉伯医学文本生成的严重性感知加权损失

大型语言模型在阿拉伯医学文本生成方面显示出强大的潜力；然而，传统的微调目标对所有医学病例都采用统一处理，忽略了临床严重性的差异。在医疗环境中，严重病例的错误风险更高。本文提出一种针对阿拉伯医学文本生成的严重性感知加权损失，用于微调阿拉伯语言模型。该方法依赖于软性严重性概率，在优化过程中动态缩放标记级别的损失贡献，从而优先处理临床关键交互，而无需修改模型架构。实验采用 MAQA 数据集进行，后者提供阿拉伯医学投诉及可信赖的人类响应。严重性标签和概率得分通过微调的 AraBERT 分类器自动推导，并仅在损失级别引入。该方法在十个不同架构和参数规模的阿拉伯大型语言模型上进行评估。标准交叉熵微调仅获得有限的改进，而严重性感知优化始终实现更大的提升。采用平衡的加权配置，AraGPT2-Base 的性能从 54.04% 提升至 66.14%，AraGPT2-Medium 从 59.16% 提升至 67.18%，Qwen2.5-0.5B 从 57.83% 提升至 66.86%，最高峰值达到 67.18%。总体而言，严重性感知微调相对于非微调基线实现了最高 12.10% 的提升，显示出稳健且在各类架构中保持一致的改进。