手写文本识别的端到端页面级评估

手写文本识别（HTR）系统的评估传统上使用基于 HTR 与真实文本（GT）转录之间编辑距离的指标，涵盖字符级和词级。当实验协议假设 GT 与 HTR 文本行相同时，这非常合适，从而可以独立计算每个给定行的编辑距离。受模式识别最新进展的推动，HTR 系统越来越多地面临文档的端到端页面级转录，其中定位不同文本行及其对应阅读顺序（RO）的精度起着关键作用。在这种情况下，标准指标未考虑可能出现的偏差。在本文中，我们详细介绍了页面级 HTR 系统评估问题。我们分析了使用双重评估的便利性，其中转录准确率和 RO 优劣被分开考虑。我们提出、分析并经验性地比较了不同的替代方案，包括通过部分模拟实验和真实的全端到端实验。结果支持了所提出的双重评估方法的有效性。一个重要的结论是，这种评估可以通过两个简单且众所周知的指标来充分实现：考虑了转录顺序的词错误率（WER），以及此处重新定义的忽略顺序的词袋词错误率（bWER）。后者直接且非常准确地评估了内在的词识别错误，而这两个指标之间的差异与归一化 Spearman 足规则距离（NSFD）高度相关，后者是一个明确测量与版面分析缺陷相关的 RO 错误的指标。