基于注意力神经网络的海量像素组织病理学图像分析
计算机视觉与模式识别
2021-06-16 v2
摘要
尽管CNN被广泛视为图像分析各类应用中的最先进模型，仍待解决的主要挑战之一是在高分辨率图像上训练CNN。已提出不同策略，涉及图像重缩放或图像分块单独处理。此类策略无法应用于如海量像素组织病理学图像这样的图像：对其大幅降低分辨率必然导致判别信息丢失；而分析其单块图像则缺乏全局信息，或意味着需大量标注训练图像以选取显著区块的工作负担。我们提出一种仅使用弱图像级标签分析海量像素组织病理学图像的方法。具体地，考虑两项分析任务：二分类与肿瘤增殖评分预测。我们的方法基于由压缩路径和学习路径组成的CNN结构。在压缩路径中，海量像素图像通过用于提取各分块特征的残差网络打包为基于网格的特征图，图像已被划分为此类分块。在学习路径中，将注意力模块应用于基于网格的特征图，考虑相邻分块特征的空间相关性以寻找感兴趣区域，进而用于最终全切片分析。我们的方法融合了全局与局部信息，对输入图像尺寸灵活，且仅需弱图像级标签。在两个知名数据集Camelyon16和TUPAC16上与不同最先进方法比较，证实了所提模型的有效性。
引用
@article{arxiv.2101.09992,
title = {Gigapixel Histopathological Image Analysis using Attention-based Neural Networks},
author = {Nadia Brancati and Giuseppe De Pietro and Daniel Riccio and Maria Frucci},
journal= {arXiv preprint arXiv:2101.09992},
year = {2021}
}
备注
The manuscript was submitted to a peer-review journal on January 27th