基于通信高效异构联邦学习的 LLM 驱动医学报告生成
计算机视觉与模式识别
2025-07-21 v2 计算与语言
摘要
LLM 在医学报告生成（MRG）中展现了巨大潜力，但其发展需要大量的医学图像-报告对，而这些数据通常分散在多个中心。由于隐私法规，将这些数据集中化极具挑战性，从而阻碍了模型开发及 LLM 驱动的 MRG 模型的广泛应用。为应对这一挑战，我们提出了 FedMRG，这是首个利用联邦学习（FL）实现隐私保护、多中心 LLM 驱动 MRG 模型开发的框架，专门设计用于克服多模态数据异构性下通信高效的 LLM 训练这一关键挑战。首先，我们的框架通过采用低秩分解高效分解参数更新，解决了 FL-LLM 微调中通信开销的根本挑战，显著降低了梯度传输成本，使得在带宽受限的 FL 环境中进行 LLM 驱动的 MRG 成为可能。此外，我们观察到 FL 场景下 MRG 中的双重异构性：各医疗中心间图像特征的差异，以及报告风格和术语偏好的多样性。为此，我们进一步通过以下方式增强 FedMRG：(1) 在 MRG 编码器中引入结合诊断驱动提示的客户端感知对比学习，在保持诊断准确性的同时捕获全局通用和局部独特的特征；以及 (2) 在 MRG 解码器中引入双适配器互促机制，协调通用适配器与专用适配器以应对报告风格和术语的变化。通过对我们建立的 FL-MRG 基准的广泛评估，我们证明了 FedMRG 的泛化能力和适应性，突显了其在利用多中心数据生成临床准确报告的同时保持通信效率的潜力。
引用
@article{arxiv.2506.17562,
title = {LLM-driven Medical Report Generation via Communication-efficient Heterogeneous Federated Learning},
author = {Haoxuan Che and Haibo Jin and Zhengrui Guo and Yi Lin and Cheng Jin and Hao Chen},
journal= {arXiv preprint arXiv:2506.17562},
year = {2025}
}
备注
Accepted by IEEE TMI