基于多阶段视觉Transformer的跨模态HER2状态评分与全切片肿瘤分类的特征学习
计算机视觉与模式识别
2025-12-30 v1 人工智能
摘要
组织病理学图像（如苏木精-伊红(H&E)染色）的广泛使用已被证明在检测肿瘤方面非常有用。然而，推进此类癌症病例的治疗需要准确了解人表皮生长因子受体2(HER2)蛋白的表达量。预测HER2的低水平和高水平都具有挑战性。此外，联合分析H&E和免疫组织化学(IHC)染色图像进行HER2评分也很困难。尽管已经研究了几种深度学习方法来解决HER2评分的挑战，但它们难以提供像素级的HER2状态定位。在本研究中，我们提出了一个单一的端到端流水线，使用视觉Transformer系统对全切片图像(WSI)进行HER2状态评分。该方法包括对H&E WSI进行分块处理以定位肿瘤。提出了一种新颖的映射函数，用于相应地识别与H&E上恶性区域相关的IHC WSI区域。一个受临床启发的HER2评分机制被嵌入到流水线中，允许对4级HER2评分（0、1+、2+和3+）进行自动像素级标注。此外，所提出的方法能准确返回HER2阴性和HER2阳性结果。私有数据集是从13个不同病例的H&E和IHC WSI中协作提取的。对所提出的方法进行了彻底的实验。获得的结果显示在肿瘤定位期间具有良好的分类准确率。同时，在4级方法中，HER2状态预测和评分的分类准确率为0.94，特异性为0.933。通过与人类病理学家比较，使用WSI块研究了所提出流水线的适用性。研究结果表明，在基于端到端ViTs的模型上联合评估H&E和IHC图像用于HER2评分是可行的。
引用
@article{arxiv.2512.22335,
title = {Feature Learning with Multi-Stage Vision Transformers on Inter-Modality HER2 Status Scoring and Tumor Classification on Whole Slides},
author = {Olaide N. Oyelade and Oliver Hoxey and Yulia Humrye},
journal= {arXiv preprint arXiv:2512.22335},
year = {2025}
}