中文

用于超高分辨率图像分割的中央凹式采样

计算机视觉与模式识别 2020-08-03 v2 机器学习 图像与视频处理

摘要

超高分辨率图像的分割因其巨大尺寸(包含数百万甚至数十亿像素)而具有挑战性。典型解决方案包括将输入图像划分为固定大小的块和/或下采样以满足内存限制。此类操作会在视场(FoV)即空间覆盖与图像分辨率方面造成信息损失。然而,其对分割性能的影响尚缺乏充分研究。在本工作中,我们首先通过一个启发性实验表明,视场与分辨率之间的权衡会影响超高分辨率图像上的分割性能——而且,其影响还随不同区域的局部模式而呈现空间变化。随后我们引入中央凹模块,一个可学习的“数据加载器”,对于给定的超高分辨率图像,它能在图像的每个空间位置自适应地选择待输入下游分割模型的合适配置(视场/分辨率权衡)。该中央凹模块与分割网络联合训练以最大化任务性能。我们在三个公开的高分辨率图像数据集上证明,相较于采用固定视场/分辨率权衡块训练的情况,中央凹模块持续提升了分割性能。我们的方法在DeepGlobe航拍图像数据集上取得了SoTA性能。在Gleason2019组织病理学数据集上,我们的模型对两个最具临床重要性与模糊性的类别(Gleason 3级和4级)的分割准确率分别比挑战赛顶尖选手高出13.1%和7.5%,并比6位人类专家的平均表现高出6.5%和7.5%。我们的代码与训练模型可在 https://github.com/lxasqjc/Foveation-Segmentation\text{https://github.com/lxasqjc/Foveation-Segmentation} 获取。

关键词

引用

@article{arxiv.2007.15124,
  title  = {Foveation for Segmentation of Ultra-High Resolution Images},
  author = {Chen Jin and Ryutaro Tanno and Moucheng Xu and Thomy Mertzanidou and Daniel C. Alexander},
  journal= {arXiv preprint arXiv:2007.15124},
  year   = {2020}
}

备注

22 pages, 15 figures, corrected metadata