重视邻域：组织病理学中海量上下文语义分割的记忆注意力框架
图像与视频处理
2022-10-24 v1 计算机视觉与模式识别
机器学习
摘要
将组织病理学全切片图像分割为肿瘤与非肿瘤组织类型是一项具有挑战性的任务，需要同时考虑局部与全局空间上下文以精确分类肿瘤区域。肿瘤组织亚型的识别使问题更为复杂，因为分离边界变得模糊，且病理医生的判断更加依赖空间上下文。然而，详细组织类型的识别对于提供个性化癌症治疗至关重要。由于全切片图像的高分辨率，现有的语义分割方法局限于孤立的图像区块，无法处理更远的上下文信息。为朝更好的上下文理解迈进，我们提出一种区块邻域注意力机制，从区块嵌入记忆库中查询邻近组织上下文，并将上下文嵌入注入瓶颈隐藏特征图。我们的记忆注意力框架(MAF)模拟病理医生的标注流程——缩小视野并考量周围组织的上下文。该框架可集成至任意编码器—解码器分割方法中。我们在公开乳腺癌数据集与内部肾癌数据集上使用著名分割模型(U-Net、DeeplabV3)评估 MAF，并展示其相对于其他上下文整合算法的优越性——在 Dice 分数上实现高达 的显著提升。代码公开于：https://github.com/tio-ikim/valuing-vicinity
引用
@article{arxiv.2210.11822,
title = {Valuing Vicinity: Memory attention framework for context-based semantic segmentation in histopathology},
author = {Oliver Ester and Fabian Hörst and Constantin Seibold and Julius Keyl and Saskia Ting and Nikolaos Vasileiadis and Jessica Schmitz and Philipp Ivanyi and Viktor Grünwald and Jan Hinrich Bräsen and Jan Egger and Jens Kleesiek},
journal= {arXiv preprint arXiv:2210.11822},
year = {2022}
}