历史报告引导的双模态并发学习用于病理报告生成
计算机视觉与模式识别
2025-06-24 v1 人工智能
摘要
从全切片图像（WSI）自动生成病理报告面临两个关键挑战：（1）视觉特征缺乏语义内容；（2）WSI中固有的信息冗余。为解决这些问题，我们提出了一种新颖的历史报告引导的双模态并发学习框架用于病理报告生成（BiGen），该框架模拟病理学家的诊断推理过程，包括：（1）一个知识检索机制，通过匹配高注意力图块从预构建的医学知识库中检索与WSI相关的知识，以提供丰富的语义内容；（2）一种双模态并发学习策略，通过一个可学习的视觉词元和一个可学习的文本词元实例化，动态提取关键视觉特征和检索到的知识，其中权重共享层实现了视觉特征与知识特征之间的跨模态对齐。我们的多模态解码器整合两种模态以生成全面的诊断报告。在PathText（BRCA）数据集上的实验证明了我们框架的优越性，与现有方法相比，在NLP指标上实现了7.4%的相对提升，在Her-2预测的分类指标上实现了19.1%的提升。消融研究验证了我们所提出模块的必要性，突显了我们的方法能够提供与WSI相关的丰富语义内容并抑制WSI中的信息冗余。代码已在 https://github.com/DeepMed-Lab-ECNU/BiGen 公开。
引用
@article{arxiv.2506.18658,
title = {Historical Report Guided Bi-modal Concurrent Learning for Pathology Report Generation},
author = {Ling Zhang and Boxiang Yun and Qingli Li and Yan Wang},
journal= {arXiv preprint arXiv:2506.18658},
year = {2025}
}