用于中文拼写纠正的解耦语音表示
计算与语言
2023-05-25 v1
摘要
中文拼写纠正(CSC)旨在检测并修正中文文本中的错字。尽管已有研究在该任务中引入语音信息(汉语拼音),但它们通常将语音表示与字符表示相融合,这往往会削弱正常文本的表示效果。本文提出将两类特征解耦,以允许文本与语音信息直接交互。为学习有用的语音表示,我们引入拼音到字符目标,要求模型仅基于语音信息预测正确字符,其中施加分离掩码以禁用从语音输入到文本的注意力。为避免对语音的过拟合,我们进一步设计自蒸馏模块以确保语义信息在预测中起主要作用。在三个CSC基准上的大量实验证明了我们的方法在利用语音信息上的优越性。
引用
@article{arxiv.2305.14783,
title = {Disentangled Phonetic Representation for Chinese Spelling Correction},
author = {Zihong Liang and Xiaojun Quan and Qifan Wang},
journal= {arXiv preprint arXiv:2305.14783},
year = {2023}
}
备注
Accepted to ACL 2023 Main Conference