基于IMU增强笔的在线序列到序列与字符级手写识别基准测试
机器学习
2024-10-08 v3
摘要
目的。手写是日常生活中最常出现的模式之一，随之而来的是诸如手写识别（HWR）、书写者鉴别和签名验证等具有挑战性的应用。与仅使用空间信息（即图像）的离线HWR不同，在线HWR（OnHWR）使用更丰富的时空信息（即轨迹数据或惯性数据）。尽管存在许多离线HWR数据集，但由于需要硬件集成笔，可用于在纸张上开发OnHWR方法的数据很少。方法。本文提出用于实时序列到序列（seq2seq）学习和单字符级识别的数据与基准模型。我们的数据由传感器增强的圆珠笔记录，以100 Hz产生来自三轴加速度计、陀螺仪、磁力计和力传感器的传感器数据流。我们提出包括公式和单词的多种数据集，涵盖书写者相关与书写者无关任务。我们的数据集允许在平板上的经典OnHWR与用传感器增强笔在纸上的OnHWR之间进行比较。我们提供使用循环与时域卷积网络以及Transformers结合连接主义时序分类（CTC）损失和交叉熵（CE）损失的seq2seq与单字符级HWR评估基准。结果。我们的卷积网络结合BiLSTMs优于基于Transformer的架构，在基于序列的分类任务中与InceptionTime相当，且比28种最先进技术取得更好结果。时间序列增强方法改善了基于序列的任务，并且我们展示CE变体可改善单分类任务。
引用
@article{arxiv.2202.07036,
title = {Benchmarking Online Sequence-to-Sequence and Character-based Handwriting Recognition from IMU-Enhanced Pens},
author = {Felix Ott and David Rügamer and Lucas Heublein and Tim Hamann and Jens Barth and Bernd Bischl and Christopher Mutschler},
journal= {arXiv preprint arXiv:2202.07036},
year = {2024}
}
备注
Accepted for International Journal on Document Analysis and Recognition (IJDAR)