屏蔽标签与噪声：一种用于中文拼写检查的N元语法掩码拼写器
计算与语言
2023-05-08 v1
摘要
近年来，中文拼写检查（CSC）——一项检测句中错字并纠正的任务——因其在各类NLP任务中的广泛应用而受到广泛关注。现有多数方法利用BERT提取语义信息以完成CSC任务。然而，这些方法直接将仅含少量错误的句子作为输入，其中正确字符可能向模型泄露答案并削弱其捕捉远距离上下文的能力；而错误字符可能干扰语义编码过程并导致较差的表示。基于上述观察，本文提出一种n-gram掩码层，对当前及/或周围词元进行掩码，以避免标签泄露与错误干扰。此外，考虑到掩码策略可能忽略错误所指示的多模态信息，提出一种新颖的点积门控机制，将语音与字形信息同语义表示相融合。在SIGHAN数据集上的大量实验表明，可插拔的n-gram掩码机制能提升主流CSC模型的性能，且本文所提方法优于多个强大的最先进模型。
引用
@article{arxiv.2305.03314,
title = {Block the Label and Noise: An N-Gram Masked Speller for Chinese Spell Checking},
author = {Haiyun Yang},
journal= {arXiv preprint arXiv:2305.03314},
year = {2023}
}