OCR 噪声对语言模型影响的评估
计算与语言
2022-02-02 v1 机器学习
摘要
神经语言模型是现代自然语言处理应用的基础。因此，它们在经过光学字符识别（OCR）的文献遗产集合上的使用也在增加。然而，我们对 OCR 噪声可能给语言模型带来影响的理解仍然有限。我们使用荷兰语、英语、法语和德语数据，评估了 OCR 噪声对多种语言模型的影响。我们发现 OCR 噪声给语言建模带来了显著障碍：随着 OCR 质量下降，语言模型与其无噪声目标之间的偏差日益增大。在小型语料存在的情况下，包括 PPMI 和 Word2Vec 在内的较简单模型在此方面始终优于基于 transformer 的模型。
引用
@article{arxiv.2202.00470,
title = {An Assessment of the Impact of OCR Noise on Language Models},
author = {Konstantin Todorov and Giovanni Colavizza},
journal= {arXiv preprint arXiv:2202.00470},
year = {2022}
}