HistGen：通过局部 - 全局特征编码与跨模态上下文交互生成组织病理学报告
计算机视觉与模式识别
2024-06-19 v2 人工智能
计算与语言
机器学习
摘要
组织病理学是癌症诊断的金标准，临床报告对于解读和理解这一过程、指导癌症治疗及患者护理至关重要。利用深度学习自动化生成组织病理学报告，有望显著提高临床效率，减轻病理学家在报告撰写方面劳动密集且耗时的负担。为实现这一进步，我们引入了 HistGen，这是一个由多实例学习赋能的组织病理学报告生成框架，并提供了首个用于评估的基准数据集。受诊断和报告撰写工作流程的启发，HistGen 包含两个精心设计的模块，旨在通过从局部和全局粒度对齐全切片图像（WSIs）与诊断报告来提升报告生成质量。为此，我们开发了一种局部 - 全局分层编码器，用于从区域到切片视角高效聚合视觉特征。同时，我们提出了一种跨模态上下文模块，以显式促进不同模态之间的对齐与交互，有效弥合 WSI 的广泛视觉序列与相应高度概括的报告之间的差距。在 WSI 报告生成上的实验结果表明，所提出的模型大幅优于最先进（SOTA）模型。此外，在癌症亚型分类和生存分析任务上微调我们模型的结果进一步展示了优于 SOTA 方法的性能，彰显了强大的迁移学习能力。数据集、模型权重和源代码可在 https://github.com/dddavid4real/HistGen 获取。
引用
@article{arxiv.2403.05396,
title = {HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction},
author = {Zhengrui Guo and Jiabo Ma and Yingxue Xu and Yihui Wang and Liansheng Wang and Hao Chen},
journal= {arXiv preprint arXiv:2403.05396},
year = {2024}
}
备注
Accepted by MICCAI2024