MMSummary：胎儿超声视频的多模态摘要生成

我们提出了首个面向医学影像视频的自动化多模态摘要生成系统MMSummary，特别聚焦于胎儿超声分析。模仿人类超声检查师的检查流程，MMSummary被设计为一个三阶段流水线，从关键帧检测到关键帧描述生成，再到解剖结构分割与测量。在关键帧检测阶段，提出了一种创新的自动化工作流，逐步选择一组简洁的关键帧，在不冗余的前提下保留充分的视频信息。随后，我们适配一个大语言模型为胎儿超声关键帧生成有意义的描述。若某关键帧被描述为胎儿生物测量，则分割与测量阶段根据文本先验通过分割感兴趣区域来估计生物测量参数。MMSummary系统为胎儿超声检查提供全面摘要，据报告实验结果估计可将扫描时间减少约31.5%，表明其有潜力提升临床工作流程效率。