利用多模态数据集增强药物不良事件检测：语料库创建与模型开发

药物不良事件（ADE）挖掘在药物警戒中至关重要，通过识别与药物相关的潜在风险、促进不良事件的早期检测以及指导监管决策，从而提高患者安全。传统的ADE检测方法可靠但缓慢，不易适应大规模操作，且提供的信息有限。随着社交媒体内容、生物医学文献和电子病历（EMR）等数据源的指数级增长，从这些非结构化文本中提取相关的ADE信息势在必行。以往的ADE挖掘研究侧重于基于文本的方法，忽视了视觉线索，限制了上下文理解，并阻碍了准确解读。为了弥补这一空白，我们提出了一个多模态药物不良事件（MMADE）检测数据集，将ADE相关的文本信息与视觉辅助相结合。此外，我们引入了一个框架，利用LLM和VLM的能力，通过生成描述ADE的医学图像的详细描述来辅助ADE检测，帮助医疗专业人员直观地识别不良事件。利用我们的MMADE数据集，我们展示了整合图像中的视觉线索以提升整体性能的重要性。这种方法有望提高患者安全、ADE意识和医疗可及性，为个性化医疗的进一步探索铺平道路。