Omni-Seg：一种用于肾脏病理图像分割的尺度感知动态网络
图像与视频处理
2023-01-20 v2 计算机视觉与模式识别
摘要
由于目标尺度异质，肾脏病理图像上的全面语义分割具有挑战性。例如，在整张切片图像（WSI）上，肾小球横截面积可比管周毛细血管大64倍，使得在同一补丁、同一尺度下分割这两类目标不切实际。为处理该尺度问题，先前研究通常训练多个分割网络以匹配异质组织类型的最优像素分辨率。这种多网络方案资源密集，且无法建模组织类型间的空间关系。本文提出 Omni-Seg+ 网络，一种尺度感知动态神经网络，通过单一神经网络实现多目标（六种组织类型）与多尺度（5X 至 40X 尺度）病理图像分割。本文贡献有三：（1）提出一种新颖的尺度感知控制器，将动态神经网络从单尺度推广到多尺度；（2）引入伪标签的半监督一致性正则化，将未标注组织类型的尺度间关联建模进单一端到端学习范式；（3）通过将人体肾脏图像上训练的模型直接应用于小鼠肾脏图像且无需重训练，证明了优越的尺度感知泛化能力。通过学习来自六种组织类型、三种不同分辨率的约150,000个人体病理图像补丁，依据人工视觉评估与图像组学（即空间转录组学）评价，我们的方法取得了优越的分割性能。官方实现见 https://github.com/ddrrnn123/Omni-Seg。
引用
@article{arxiv.2206.13632,
title = {Omni-Seg: A Scale-aware Dynamic Network for Renal Pathological Image Segmentation},
author = {Ruining Deng and Quan Liu and Can Cui and Tianyuan Yao and Jun Long and Zuhayr Asad and R. Michael Womick and Zheyu Zhu and Agnes B. Fogo and Shilin Zhao and Haichun Yang and Yuankai Huo},
journal= {arXiv preprint arXiv:2206.13632},
year = {2023}
}