大型语言模型辅助的 Birt-Hogg-Dube 综合征诊断：基于多模态检索增强生成
计算机视觉与模式识别
2025-11-26 v1
摘要
深度学习方法在通过计算机断层扫描（CT）影像推进 Birt-Hogg-Dube 综合征（BHD）诊断时，面临样本数量有限和 Diffuse Cystic Lung Diseases（DCLDs）间类别区分度低的双重挑战。虽然多模态大型语言模型（MLLM）显示出诊断此类罕见疾病的潜力，但缺乏领域特定知识和可参考的放射学特征会加剧幻觉风险。为解决此问题，我们提出了 BHD-RAG—a一个集成 DCLD 特定专业知识和临床案例于 MLLM 以提高 BHD 诊断准确性的多模态检索增强生成框架。BHDRAG 采用：（1）专用智能体生成 CT 图像的影像表现描述，构建 DCLDs 案例的多模态语料库；（2）基于余弦相似性的检索器定位查询图像的相关影像描述对；（3）MLLM 将检索到的证据与影像数据合成以进行诊断。BHD-RAG 在包含四种 DCLDs 类型的数据集上进行了验证，实现了卓越的准确率，并生成了与专家见解高度一致的证据依据描述。
引用
@article{arxiv.2511.19834,
title = {Large Language Model Aided Birt-Hogg-Dube Syndrome Diagnosis with Multimodal Retrieval-Augmented Generation},
author = {Haoqing Li and Jun Shi and Xianmeng Chen and Qiwei Jia and Rui Wang and Wei Wei and Hong An and Xiaowen Hu},
journal= {arXiv preprint arXiv:2511.19834},
year = {2025}
}