PaliGemma-CXR：用于 TB 胸部 X 光片解读的多任务多模态模型
计算机视觉与模式识别
2025-03-04 v1 人工智能
摘要
结核病（TB）是一项具有传染性的全球公共卫生挑战。胸部 X 光片是 TB 筛查的标准方法，但许多国家面临能够解读这些图像的放射科医生严重短缺的问题。机器学习提供了一种替代方案，因为它可以自动化疾病诊断和报告生成等任务。然而，传统方法依赖特定任务的模型，无法利用任务之间的相互依赖性。构建能够执行多项任务的模型面临额外的挑战，如多模态数据稀缺、数据集不平衡和负迁移。为应对这些挑战，我们提出了 PaliGemma-CXR，一个能够执行 TB 诊断、目标检测、分割、报告生成和视觉问答的多任务多模态模型。我们从带有 TB 诊断标签和分割掩膜的胸部 X 光图像数据集出发，构建了一个支持额外任务的多模态数据集。通过在该数据集上微调 PaliGemma 并按照任务数据集大小倒数的比例采样数据，我们在所有任务上取得了以下结果：TB 诊断准确率为 90.32%，封闭型 VQA 准确率为 98.95%，报告生成的 BLEU 分数为 41.3，目标检测和分割的 mAP 分别为 19.4 和 16.0。这些结果表明 PaliGemma-CXR 能够有效利用多项图像解读任务之间的相互依赖性来提升性能。
引用
@article{arxiv.2503.00171,
title = {PaliGemma-CXR: A Multi-task Multimodal Model for TB Chest X-ray Interpretation},
author = {Denis Musinguzi and Andrew Katumba and Sudi Murindanyi},
journal= {arXiv preprint arXiv:2503.00171},
year = {2025}
}