用于同步命名实体提取和拼写纠正的大型语言模型
计算与语言
2024-03-04 v1 计算机视觉与模式识别
摘要
诸如BERT之类的语言模型(LM)已被证明在文本中识别命名实体(NE)的任务上表现良好。BERT LM通常用作分类器，对输入文本中的单个标记或标记跨度进行分类，判断其是否属于一组可能的NE类别之一。在本文中，我们假设仅解码器的大型语言模型(LLM)也可以生成式地用于提取NE，并可能恢复NE的正确表面形式，从而自动纠正输入文本中存在的任何拼写错误。我们微调了两个BERT LM作为基线，以及八个开源LLM，任务是从通过对日本商店收据图像应用光学字符识别(OCR)获得的文本中生成NE；在本工作中，我们未尝试寻找或评估NE在文本中的位置。我们表明，最佳微调LLM的性能与最佳微调BERT LM相当或略优，尽管差异不显著。然而，正如最初假设的那样，最佳LLM在某些情况下也能纠正OCR错误。
引用
@article{arxiv.2403.00528,
title = {Large Language Models for Simultaneous Named Entity Extraction and Spelling Correction},
author = {Edward Whittaker and Ikuo Kitagishi},
journal= {arXiv preprint arXiv:2403.00528},
year = {2024}
}
备注
9 pages, 1 figure