用于数学表达式在线手势识别的 Transformer 架构

研究表明，Transformer 架构为从对应于字形笔画的在线手写手势构建表达式树的端到端模型提供了强大框架。特别地，注意力机制被成功用于编码、学习并强制表达式的底层语法，创建出被正确解码为精确数学表达式树的潜在表示，对消融输入与未见字形具有鲁棒性。首次，编码器被输入可能构成无限大词表的时空数据 token，其应用超越在线手势识别。我们提供了一个用于通用手写识别任务模型训练的新监督在线手写手势数据集，并提出了一种用于评估输出表达式树句法正确性的新度量。一个适用于边缘推理的小型 Transformer 模型被成功训练至平均归一化 Levenshtein 准确率 94%，对 94% 的预测产生有效的后缀 RPN 树表示。