TPS++：用于场景文本识别的注意力增强薄板样条变换
计算机视觉与模式识别
2023-05-10 v1
摘要
文本的不规则性给场景文本识别器带来了重大挑战。基于薄板样条（Thin-Plate Spline, TPS）的校正被广泛认为是应对该问题的有效手段。目前，TPS 变换参数的计算纯粹依赖于回归得到的文本边界质量。它忽略了文本内容，并常常导致对严重失真文本校正结果不理想。在本工作中，我们提出 TPS++，一种注意力增强的 TPS 变换，首次将注意力机制引入文本校正。TPS++ 将参数计算表述为前景控制点回归与基于内容的注意力分数估计的联合过程，后者由一个专门设计的门控注意力块计算。TPS++ 构建了更灵活的内容感知校正器，生成更自然的文本校正结果，便于后续识别器读取。此外，TPS++ 与识别器部分共享特征主干，并在特征级而非图像级实施校正，仅在参数和推理时间上带来较小开销。在公开基准上的实验表明，TPS++ 持续提升了识别性能并达到了最先进的准确率。同时，它能很好地泛化到不同的主干和识别器。代码见 https://github.com/simplify23/TPS_PP。
引用
@article{arxiv.2305.05322,
title = {TPS++: Attention-Enhanced Thin-Plate Spline for Scene Text Recognition},
author = {Tianlun Zheng and Zhineng Chen and Jinfeng Bai and Hongtao Xie and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2305.05322},
year = {2023}
}
备注
Accepted by IJCAI 2023