MedCare：通过解耦临床对齐与知识聚合推进医学大语言模型
计算与语言
2024-10-18 v3
摘要
大语言模型（LLMs）在自然语言理解与生成方面取得了显著进展，尤其在医学领域展现出重要价值。尽管取得了进步，但由于医学任务固有的复杂性和多样性（可分为知识密集型任务和对齐需求型任务），挑战依然存在。以往的方法要么忽略后一类任务，要么仅关注少数任务，从而丧失了泛化能力。为解决这些缺陷，我们提出了一种渐进式微调流水线。该流水线在第一阶段使用知识聚合器（Knowledge Aggregator）和噪声聚合器（Noise Aggregator）来编码多样化的知识并过滤掉有害信息。在第二阶段，我们丢弃噪声聚合器以避免次优表征的干扰，并利用一个额外的对齐模块（该模块沿与知识空间正交的方向优化）来缓解知识遗忘。基于这一两阶段范式，我们提出了通过解耦临床对齐与知识聚合的医学大语言模型（MedCare），旨在超过20项医学任务上达到最先进（SOTA）性能，并在特定医学对齐任务上也取得SOTA结果。不同规模的MedCare模型（1.8B、7B、14B）均比现有同等规模模型有显著提升。
引用
@article{arxiv.2406.17484,
title = {MedCare: Advancing Medical LLMs through Decoupling Clinical Alignment and Knowledge Aggregation},
author = {Yusheng Liao and Shuyang Jiang and Zhe Chen and Yanfeng Wang and Yu Wang},
journal= {arXiv preprint arXiv:2406.17484},
year = {2024}
}
备注
EMNLP2024 Findings