中文

一种基于大语言模型的简单有效的免训练免提示中文拼写纠正方法

计算与语言 2024-10-08 v1

摘要

本文提出了一种简单、免训练、免提示的方法,利用大语言模型处理中文拼写纠正任务,这与以往所有中文拼写纠正方法完全不同。关键思想是以传统方式将大语言模型用作纯语言模型。大语言模型从头开始遍历输入句子,在每个推理步骤中,根据部分句子在其词汇表上生成一个分布,以决定下一个词元。为确保输出句子与输入句子保持一致,我们设计了一个最小失真模型,利用原始字符和替换字符之间的发音或形状相似性。此外,我们提出了两种有用的奖励策略,以应对中文拼写纠正任务特有的实际挑战。在五个公开数据集上的实验表明,我们的方法显著提高了大语言模型的性能,使其能够与最先进的通用中文拼写纠正模型相竞争。

关键词

引用

@article{arxiv.2410.04027,
  title  = {A Simple yet Effective Training-free Prompt-free Approach to Chinese Spelling Correction Based on Large Language Models},
  author = {Houquan Zhou and Zhenghua Li and Bo Zhang and Chen Li and Shaopeng Lai and Ji Zhang and Fei Huang and Min Zhang},
  journal= {arXiv preprint arXiv:2410.04027},
  year   = {2024}
}

备注

Accepted at Main Conference of EMNLP 2024