SRFormer：融合分割与回归的文本检测 Transformer
计算机视觉与模式识别
2023-12-27 v2
摘要
现有的文本检测技术可大致分为两类：基于分割的方法和基于回归的方法。分割模型对字体变化具有更强的鲁棒性，但需要复杂的后处理，导致较高的计算开销。基于回归的方法进行实例感知预测，但由于依赖高层表示，在鲁棒性和数据效率方面存在局限。在学术研究中，我们提出 SRFormer，一种统一的基于 DETR 的模型，融合了分割（Segmentation）与回归（Regression），旨在协同利用分割表示固有的鲁棒性以及实例级回归的简洁后处理。我们的实证分析表明，在初始解码器层即可获得良好的分割预测。有鉴于此，我们将分割分支的引入限制在前几个解码器层，并在后续层采用渐进式回归细化，在获得性能提升的同时最小化来自掩码的计算负载。此外，我们提出掩码感知查询增强（Mask-informed Query Enhancement）模块。我们将分割结果作为自然的软 ROI 来池化并提取鲁棒像素表示，进而用于增强和多样化实例查询。在多个基准上的大量实验得出了引人注目的发现，凸显了我们的方法在鲁棒性、优越的训练与数据效率以及最先进（SOTA）性能方面的出色表现。我们的代码可在 https://github.com/retsuh-bqw/SRFormer-Text-Det 获取。
引用
@article{arxiv.2308.10531,
title = {SRFormer: Text Detection Transformer with Incorporated Segmentation and Regression},
author = {Qingwen Bu and Sungrae Park and Minsoo Khang and Yichuan Cheng},
journal= {arXiv preprint arXiv:2308.10531},
year = {2023}
}
备注
Title changed. Accepted to AAAI'24