以用户为中心的 Kwak'wala 语 OCR 系统评估
计算与语言
2023-02-28 v1
摘要
近来，人们日益关注改进濒危语言的光学字符识别（OCR），特别是因为这些语言的大量文档和书籍并非机器可读格式。OCR 系统的性能通常使用字符错误率和词错误率等自动指标进行评估。尽管错误率有助于比较不同模型与系统，但它们无法衡量 OCR 工具生成的转写文本是否以及如何在下游对用户有用。在本文中，我们提出了一种以人为中心的 OCR 系统评估方法，以 Kwak'wala 语为案例研究。通过用户研究，我们表明使用 OCR 可将文化价值文档的手动转写时间——这项任务通常由濒危语言社群成员和研究者承担——减少超过 50%。我们的结果展示了 OCR 工具对下游语言记录与复兴工作的潜在益处。
引用
@article{arxiv.2302.13410,
title = {User-Centric Evaluation of OCR Systems for Kwak'wala},
author = {Shruti Rijhwani and Daisy Rosenblum and Michayla King and Antonios Anastasopoulos and Graham Neubig},
journal= {arXiv preprint arXiv:2302.13410},
year = {2023}
}
备注
Accepted to the Sixth Workshop on Computational Methods in the Study of Endangered Languages (ComputEL 2023)