丰富语义知识增强的大语言模型用于小样本中文拼写检查
计算与语言
2024-11-21 v3
摘要
中文拼写检查（CSC）是一项广泛应用的技术，在语音转文本（STT）和光学字符识别（OCR）中起着至关重要的作用。现有的大多数基于BERT架构的CSC方法取得了优异的性能。然而，受限于基础模型的规模，基于BERT的方法在小样本场景下表现不佳，在实际应用中显示出一定的局限性。本文探索使用一种名为RS-LLM（基于丰富语义的大语言模型）的上下文学习方法，引入大语言模型（LLMs）作为基础模型。此外，我们研究了在我们的框架中引入各种中文丰富语义信息的影响。我们发现，通过引入少量特定的中文丰富语义结构，LLMs在小样本CSC任务上取得了优于基于BERT模型的性能。进一步地，我们在多个数据集上进行了实验，实验结果验证了我们所提出框架的优越性。
引用
@article{arxiv.2403.08492,
title = {Rich Semantic Knowledge Enhanced Large Language Models for Few-shot Chinese Spell Checking},
author = {Ming Dong and Yujing Chen and Miao Zhang and Hao Sun and Tingting He},
journal= {arXiv preprint arXiv:2403.08492},
year = {2024}
}
备注
This paper is accepted by Findings of the Association for Computational Linguistics: ACL 2024