面向临床显著性前列腺癌的多模态融合与基于原型的特征细化：基于经腹直肠超声的分类
图像与视频处理
2024-06-21 v1 计算机视觉与模式识别
摘要
前列腺癌是一种高度流行的癌症，全球位列男性癌症死亡原因的第二位。最近，利用多模态经腹直肠超声（TRUS）作为引导前列腺活检的有价值技术获得了显着的关注。在本研究中，我们提出了一个 novel learning 框架，用于临床显著性前列腺癌（csPCa）分类。该框架使用两个独立的3D ResNet-50 从B模式和剪切波消声学（SWE）中提取独特特征。此外，还包含注意力模块以有效细化B模式特征并聚合两个模态提取的特征。进一步利用few shot分割任务来增强分类编码器的容量。由于临床csPCa掩码的可获得性有限，我们采用原型校正模块来提取csPCa的代表性原型。该框架的性能在由512个TRUS视频组成的大型数据集上进行评估，数据包括确诊的前列腺癌。结果表明，该框架在准确识别csPCa方面具有强大的能力，实现了0.86的ROC曲线下面积（AUC）。此外，该框架生成可视化类激活图（CAM），可作为定位csPCa的有价值辅助手段。这些CAM图像可能为TRUS引导的靶向活检提供有价值的指导，提高了活检程序的有效性。代码可在 https://github.com/2313595986/SmileCode 获取。
引用
@article{arxiv.2406.14069,
title = {Towards Multi-modality Fusion and Prototype-based Feature Refinement for Clinically Significant Prostate Cancer Classification in Transrectal Ultrasound},
author = {Hong Wu and Juan Fu and Hongsheng Ye and Yuming Zhong and Xuebin Zou and Jianhua Zhou and Yi Wang},
journal= {arXiv preprint arXiv:2406.14069},
year = {2024}
}