利用迁移学习和多重实例学习进行H&E全切片图像的HER2自动评分
计算机视觉与模式识别
2024-11-11 v1 人工智能
定量方法
摘要
人表皮生长因子受体2（HER2）的表达是乳腺癌患者的重要生物标志物，这些患者可受益于经济高效的自动H&E HER2评分。然而，开发此类评分模型需要大量像素级标注数据集。迁移学习允许复用来自不同数据集的先验知识，而多重实例学习（MIL）允许缓解缺乏详细标注的问题。本工作旨在考察迁移学习对深度学习模型性能的影响，这些模型分别预训练于（i）免疫组织化学（IHC）图像、（ii）H&E图像和（iii）非医学图像。我们利用预训练模型作为块嵌入模型，开发了一个带有注意力机制的MIL框架。结果发现，在H&E图像上预训练的嵌入模型始终优于其他模型，在4个HER2评分上取得了平均AUC-ROC值为0.622（每个HER2评分为0.59–0.80）。此外，发现使用带有注意力层的多重实例学习不仅能够实现良好的分类结果，还可以通过利用块级注意力权重，在H&E切片图像中生成HER2阳性区域的可视化指示。
引用
@article{arxiv.2411.05028,
title = {Leveraging Transfer Learning and Multiple Instance Learning for HER2 Automatic Scoring of H\&E Whole Slide Images},
author = {Rawan S. Abdulsadig and Bryan M. Williams and Nikolay Burlutskiy},
journal= {arXiv preprint arXiv:2411.05028},
year = {2024}
}