DRetHTR：用于手写文本识别的线性时间解码器专用保留网络
计算机视觉与模式识别
2026-02-20 v1
摘要
最先进的手写文本识别(HTR)系统通常使用Transformer，其不断增长的键值(KV)缓存使得解码速度慢且内存密集。我们引入了DRetHTR，这是一个基于保留网络(Retentive Networks, RetNet)构建的解码器专用模型。与同等大小的解码器专用Transformer基线相比，DRetHTR在不损失准确率的情况下，推理速度提高了1.6-1.9倍，内存使用减少了38-42%。通过用无softmax的保留机制替换softmax注意力，并注入多尺度序列先验，DRetHTR避免了不断增长的KV缓存：解码在时间和内存上均与输出长度呈线性关系。为了恢复注意力的局部到全局归纳偏置，我们提出了逐层伽马缩放，它逐渐扩大更深层中的有效保留视野。这鼓励早期层建模短程依赖关系，后期层捕获更广泛的上下文，从而缓解了移除softmax引入的灵活性差距。因此，DRetHTR在IAM-A（英语）、RIMES（法语）和Bentham（英语）上分别实现了2.26%、1.81%和3.46%的最佳报告测试字符错误率，并在READ-2016（德语）上以4.21%的字符错误率具有竞争力。这表明，解码器专用RetNet能够实现Transformer级别的HTR准确率，同时显著提高解码速度和内存效率。
引用
@article{arxiv.2602.17387,
title = {DRetHTR: Linear-Time Decoder-Only Retentive Network for Handwritten Text Recognition},
author = {Changhun Kim and Martin Mayr and Thomas Gorges and Fei Wu and Mathias Seuret and Andreas Maier and Vincent Christlein},
journal= {arXiv preprint arXiv:2602.17387},
year = {2026}
}
备注
Submitted to Pattern Recognition, 11 pages + 2-page appendix, 7 figures, 12 tables