MedSumm：一种用于总结印地语-英语语码混合临床查询的多模态方法

在医疗领域，总结患者提出的医学问题对于改善医患互动和医疗决策至关重要。尽管医学数据在复杂性和数量上不断增长，该领域当前的研究主体主要集中在基于文本的方法，忽视了视觉线索的整合。此外，医学问题总结领域的先前工作仅限于英语。本文引入了在低资源环境下对语码混合输入进行多模态医学问题总结的任务。为解决这一空白，我们引入了多模态医学语码混合问题总结 MMCQS 数据集，该数据集将印地语-英语语码混合的医学查询与视觉辅助相结合。这种整合丰富了患者医疗状况的表示，提供了更全面的视角。我们还提出了一个名为 MedSumm 的框架，利用大语言模型 (LLMs) 和视觉语言模型 (VLMs) 的能力来完成此任务。通过利用我们的 MMCQS 数据集，我们展示了整合来自图像的视觉信息以改进医学详细摘要生成的价值。这种多模态策略不仅改善了医疗决策，还促进了对患者查询的更深入理解，为个性化和响应式医疗护理的未来探索铺平了道路。我们的数据集、代码和预训练模型将公开发布。