字符查询:一种基于 Transformer 的在线手写字符分割方法
计算机视觉与模式识别
2023-09-07 v1 机器学习
摘要
在线手写字符分割常与手写识别相关联,尽管识别模型包含在学习过程中定位相关位置的机制,但通常不足以产生精确分割。将分割与识别解耦可释放进一步利用识别结果的潜力。我们特别关注转录文本预先已知的场景,此时字符分割成为触控笔轨迹采样点与文本中字符之间的分配问题。受 -means 聚类算法启发,我们从簇分配视角看待该问题,并提出一种基于 Transformer 的架构,其中每个簇基于 Transformer 解码器块中学习的字符查询形成。为评估方法质量,我们为两个流行的在线手写数据集 IAM-OnDB 和 HANDS-VNOnDB 创建了字符分割真值,并在其上评估多种方法,表明我们的方法取得了总体最佳结果。
引用
@article{arxiv.2309.03072,
title = {Character Queries: A Transformer-based Approach to On-Line Handwritten Character Segmentation},
author = {Michael Jungo and Beat Wolf and Andrii Maksai and Claudiu Musat and Andreas Fischer},
journal= {arXiv preprint arXiv:2309.03072},
year = {2023}
}
备注
ICDAR 2023 Best Student Paper Award. Code available at https://github.com/jungomi/character-queries