基于字符与注意力网络的手写文本转写
计算机视觉与模式识别
2021-08-24 v3 计算与语言
机器学习
摘要
本文以在字符序列而非词序列上训练的注意力编码器-解码器网络来处理手写文本识别（HTR）任务。我们在流行的手写数据集的文本行上实验，并比较用于对齐图像像素与目标字符的注意力机制的不同激活函数。我们发现softmax注意力在每个解码步严重聚焦于单个字符，而sigmoid注意力在每一步聚焦于多个字符。当序列对齐为一对一时，softmax注意力能够在每个解码步学习到更精确的对齐，而sigmoid注意力生成的对齐则精确性差得多。当使用线性函数获得注意力权重时，模型通过查看整个字符序列来预测字符，由于源与目标之间缺乏精确对齐而表现不佳。未来研究可探索自然场景图像中的HTR，因为该模型能够转写手写文本而无需产生图像中文本的分割或边界框。
引用
@article{arxiv.1712.04046,
title = {Character-Based Handwritten Text Transcription with Attention Networks},
author = {Jason Poulos and Rafael Valle},
journal= {arXiv preprint arXiv:1712.04046},
year = {2021}
}