用于超高分辨率分割的带空间一致性的引导块分组小波Transformer
计算机视觉与模式识别
2023-07-07 v2
摘要
大多数现有的超高分辨率（UHR）分割方法总是在内存开销与局部表征精度权衡的困境中挣扎，而我们提出的引导块分组小波Transformer（GPWFormer）同时考虑了这两者并取得了令人印象深刻的性能。本工作中，GPWFormer是一个Transformer（\mathcal{T}）-CNN（\mathcal{C}）互学习框架，其中\mathcal{T}将整张UHR图像作为输入并获取局部细节与细粒度长程上下文依赖，而\mathcal{C}将下采样图像作为输入以学习类别级深层上下文。为了高推理速度和低计算复杂度，\mathcal{T}将原始UHR图像分块并动态分组，然后用轻量多头小波Transformer（WFormer）网络学习低级局部细节。同时，在此过程中也捕获了细粒度长程上下文依赖，因为空间上相距较远的块也可被分到同一组。此外，\mathcal{C}生成的掩码被用于引导块分组过程，提供启发式决策。而且，两分支间的 congruence 约束也被用来维持块间的空间一致性。总体上，我们以金字塔方式堆叠多阶段过程。实验表明，GPWFormer在五个基准数据集上以显著改进优于现有方法。
引用
@article{arxiv.2307.00711,
title = {Guided Patch-Grouping Wavelet Transformer with Spatial Congruence for Ultra-High Resolution Segmentation},
author = {Deyi Ji and Feng Zhao and Hongtao Lu},
journal= {arXiv preprint arXiv:2307.00711},
year = {2023}
}
备注
Accepted to IJCAI 2023