MediFact at MEDIQA-M3G 2024: 基于多模态学习的皮肤科医学问答

MEDIQA-M3G 2024挑战需要 novel solutions for Multilingual & Multimodal Medical Answer Generation in dermatology（wai Yim 等，2024a）。本文通过提出一种弱监督学习方法来解决传统方法的局限性，用于开放式医学问答。我们的系统利用 readily available MEDIQA-M3G 图像通过 VGG16-CNN-SVM 模型，实现英语、中文、西班牙文三种语言的信息皮肤病表示学习。使用 pre-trained QA 模型，我们进一步通过多模态融合弥合视觉与文本信息之间的差距。该方法解决了即使没有预定义答案选择器的情况下，也能处理复杂的开放式问题。通过将多个响应与图像输入到 ViT-CLIP 模型中，我们实现了对全面答案的生成。本工作推进了医学问答研究，为临床决策支持系统铺路，从而改善了医疗保健的交付。