利用可变形卷积提升现代与历史手写文本识别
计算机视觉与模式识别
2022-08-18 v1
摘要
自由排版页面中的手写文本识别（HTR）是一项具有挑战性的图像理解任务，可为手写文档的数字化及其内容复用提供重要推动。在处理历史文档时，由于书写风格的多变和页面质量的退化，该任务变得更加困难。最先进的 HTR 方法通常将用于序列建模的循环结构与用于视觉特征提取的卷积神经网络相耦合。由于卷积核定义在固定网格上，并在输入图像上移动时独立关注所有输入像素，该策略忽视了手写字符即使在同一文档内也可能在形状、尺度和方向上变化，且墨迹像素比背景像素更相关这一事实。为应对这些特定的 HTR 困难，我们提出采用可变形卷积，其可根据当前输入发生形变并更好地适应文本的几何变化。我们设计了两种可变形架构，并在现代与历史数据集上进行了充分实验。实验结果证实了可变形卷积对 HTR 任务的适用性。
引用
@article{arxiv.2208.08109,
title = {Boosting Modern and Historical Handwritten Text Recognition with Deformable Convolutions},
author = {Silvia Cascianelli and Marcella Cornia and Lorenzo Baraldi and Rita Cucchiara},
journal= {arXiv preprint arXiv:2208.08109},
year = {2022}
}