利用自适应隐式表示映射实现超高分辨率图像分割
计算机视觉与模式识别
2024-08-01 v1
摘要
隐式表示映射（IRM）可以将图像特征转换为任意连续分辨率，在超高分辨率图像分割细化方面展现出强大的能力。当前基于 IRM 的超高分辨率图像分割细化方法通常依赖于基于 CNN 的编码器提取图像特征，并应用共享隐式表示映射函数（SIRMF）将像素级特征转换为分割结果。因此，这些方法存在两个关键局限性：首先，基于 CNN 的编码器可能有效捕获长距离信息，导致像素级特征缺乏全局语义信息；其次，SIRMF 在所有样本上是共享的，这限制了其泛化能力和处理多样化输入的能力。为此，我们提出一种新方法，利用全新的自适应隐式表示映射（AIRM）实现超高分辨率图像分割。具体而言，所提方法包含两个组成部分：（1）基于语义关联的编码器（AEE），是一种稳健的特征提取器，利用 transformer 架构的优势和语义关联来有效建模长距离特征；（2）自适应隐式表示映射函数（AIRMF），在不忽视全局语义信息的前提下，对像素级特征进行自适应转换，实现灵活且精确的特征转换。我们在常用的超高分辨率分割细化数据集上进行评估，即 BIG 和 PASCAL VOC 2012。实验结果表明，我们的方法在竞争方法上以显著的优势取得优异性能。代码已提供于补充材料中。
关键词
引用
@article{arxiv.2407.21256,
title = {Leveraging Adaptive Implicit Representation Mapping for Ultra High-Resolution Image Segmentation},
author = {Ziyu Zhao and Xiaoguang Li and Pingping Cai and Canyu Zhang and Song Wang},
journal= {arXiv preprint arXiv:2407.21256},
year = {2024}
}