PBFormer：利用多项式带Transformer捕捉复杂场景文本形状
计算机视觉与模式识别
2023-08-30 v1
摘要
我们提出 PBFormer，一种高效且强大的场景文本检测器，它将 transformer 与一种新颖的文本形状表示——多项式带（Polynomial Band, PB）相统一。该表示使用四条多项式曲线分别拟合文本的上、下、左、右边界，可通过改变多项式系数来捕捉具有复杂形状的文本。与传统的表示相比，PB 具有显著优势：1）它可以用固定数量的参数建模不同的曲率，而基于多边形点的方法需要使用不同数量的点。2）它可以区分相邻或重叠的文本，因为它们具有明显不同的曲线系数，而基于分割或基于点的方法受困于粘连的空间位置。PBFormer 将 PB 与 transformer 结合，可直接从预测曲线采样生成平滑的文本轮廓，无需插值。我们采用了一个无参数的跨尺度像素注意力（CPA）模块，以突出合适尺度的特征图同时抑制其他特征图。这一简单操作有助于检测小尺度文本，并且兼容单阶段 DETR 框架，其中不存在用于 NMS 的后处理。此外，PBFormer 使用一种包含形状的损失进行训练，该损失不仅强制真实值与预测曲线之间的分段对齐，还使曲线的位置和形状彼此一致。无需任何关于文本预训练的额外技巧，我们的方法在任意形状文本数据集上优于先前最先进的文本检测器。
引用
@article{arxiv.2308.15004,
title = {PBFormer: Capturing Complex Scene Text Shape with Polynomial Band Transformer},
author = {Ruijin Liu and Ning Lu and Dapeng Chen and Cheng Li and Zejian Yuan and Wei Peng},
journal= {arXiv preprint arXiv:2308.15004},
year = {2023}
}
备注
9 pages, 8 figures, accepted by ACM MM 2023