LDP：面向医学报告生成的多模态大语言模型参数高效微调
计算机视觉与模式识别
2025-12-12 v1
摘要
结肠镜息肉诊断对早期结直肠癌检测至关重要，但传统自动化报告由于高质量多模态医学数据的稀缺而存在不一致性和幻觉问题。为弥合这一差距，我们提出了 LDP，一个利用多模态大语言模型（MLLM）进行专业息肉诊断报告生成的新框架。具体而言，我们整理了 MMEndo，一个包含专家标注的内窥镜图像-文本对的多模态内窥镜数据集。我们使用参数高效微调（LoRA）对 Qwen2-VL-7B 骨干网络进行微调，并通过直接偏好优化（DPO）将其与临床标准对齐。大量实验表明，我们的 LDP 在自动指标和严格的临床专家评估上均优于现有基线（达到医生评分 7.2/10），与完整微调相比显著降低了 833 倍的训练计算成本。所提出的解决方案为初级医疗保健提供了可扩展的临床可行路径，并在 IU-XRay 数据集上的额外验证确认了其鲁棒性。
引用
@article{arxiv.2512.10750,
title = {LDP: Parameter-Efficient Fine-Tuning of Multimodal LLM for Medical Report Generation},
author = {Tianyu Zhou and Junyi Tang and Zehui Li and Dahong Qian and Suncheng Xiang},
journal= {arXiv preprint arXiv:2512.10750},
year = {2025}
}
备注
Work in progress