用于组织学全切片图像分类的带强化学习的双注意力模型
图像与视频处理
2024-11-22 v2 计算机视觉与模式识别
摘要
数字全切片图像（WSI）通常以显微分辨率采集并包含大量空间数据。由于内存限制，直接将这些图像输入深度学习模型在计算上不可行，而对 WSI 降采样则可能导致信息丢失。或者，将 WSI 分割为较小图块可能会造成重要上下文信息的丢失。在本文中，我们提出一种新颖的双注意力方法，由两个主要组件构成，均受病理学家视觉检查过程的启发：第一个软注意力模型处理 WSI 的低倍率视图以识别相关感兴趣区域（ROI），随后通过自定义采样方法从所选 ROI 中提取多样且空间上不同的图像块。第二个组件，即硬注意力分类模型，从每个图块进一步提取多分辨率瞥见序列用于分类。由于硬注意力不可微，我们使用强化学习训练该组件以预测瞥见的位置。该方法使模型能够聚焦于关键区域而非处理整个图块，从而与病理学家的诊断方式一致。两个组件使用联合损失函数以端到端方式训练，以展示模型的有效性。所提模型在两个 WSI 级分类问题上进行了评估：乳腺癌组织学图像上的人表皮生长因子受体 2 评分，以及结直肠癌组织学图像上两种错配修复生物标志物的完整/缺失状态预测。我们表明，所提模型性能优于或与最先进方法相当，同时以最高倍率处理少于 10% 的 WSI，并将推断 WSI 级标签所需时间减少 75% 以上。
引用
@article{arxiv.2302.09682,
title = {Dual Attention Model with Reinforcement Learning for Classification of Histology Whole-Slide Images},
author = {Manahil Raza and Ruqayya Awan and Raja Muhammad Saad Bashir and Talha Qaiser and Nasir M. Rajpoot},
journal= {arXiv preprint arXiv:2302.09682},
year = {2024}
}