中文

基于边界增强的高分辨率分段变换器

计算机视觉与模式识别 2024-12-24 v2

摘要

超高分辨率(UHR)图像分段是一项具有众多应用场景的关键任务,但由于高空间分辨率和丰富的细节,面临着显著的挑战。最近的研究方法采用双分支架构,其中全局分支学习长程上下文信息,局部分支捕获细节。然而,这些方法在处理全局与局部信息之间的冲突时,以及增加显著计算开销方面存在困难。灵感来源于人类视觉系统能够快速聚焦于具有细节的重要区域并过滤无关信息的能力,我们提出了一种新的UHR分段方法,称为边界增强-patch合并变换器(BPT)。BPT包含两个关键组件:(1) 用于动态分配标记以获取全局和局部分 representations 的 patch合并变换器(PMT),以及(2) 利用边界信息丰富细节的边界增强模块(BEM)。在多个UHR图像分段基准测试上的大量实验表明,我们的BPT在不引入额外计算开销的情况下超越了以往的状态-of-the-art方法。代码将公开发布以促进研究。

关键词

引用

@article{arxiv.2412.10181,
  title  = {Ultra-High Resolution Segmentation via Boundary-Enhanced Patch-Merging Transformer},
  author = {Haopeng Sun and Yingwei Zhang and Lumin Xu and Sheng Jin and Yiqiang Chen},
  journal= {arXiv preprint arXiv:2412.10181},
  year   = {2024}
}

备注

This paper has been accepted by AAAI 2025, 10 pages, 4 figures