一种联合使用在线与离线特征的基于Transformer的手写识别系统

我们认为手写识别受益于光栅化复杂字形和笔迹轨迹所携带的互补线索，然而大多数系统仅利用单一模态。我们引入了一个端到端网络，在共享的潜在空间内对离线图像和在线笔迹数据进行早期融合。一个补丁编码器将灰度裁剪图像转换为固定长度的视觉标记，而一个轻量级Transformer则嵌入$(x, y, \text{笔})$序列。可学习的潜在查询联合关注两个标记流，产生上下文增强的笔迹嵌入，这些嵌入在交叉熵损失目标下进行池化和解码。由于融合发生在任何高级分类之前，时间线索在表示学习过程中相互增强，从而产生更强的书写者独立性。在IAMOn-DB和VNOn-DB上的全面实验表明，我们的方法达到了最先进的准确率，比之前的最佳结果高出1%。我们的研究还展示了该流水线在ISI-Air数据集上通过手势化进行的适应。我们的代码可在此处找到。