PERT：一种拼音转汉字任务的新方案
计算与语言
2022-05-25 v1 人工智能
摘要
拼音转汉字（P2C）任务是中文、日文、泰语等亚洲语言商业输入法引擎（IME）中的关键任务。它通常被视为序列标注任务，并由语言模型（如 n-gram 或 RNN）解决。然而，n-gram 或 RNN 的低容量限制了其性能。本文介绍了一种名为 PERT 的新方案，即双向 Pinyin Encoder Representations from Transformers。它在基线方法上实现了性能的显著提升。此外，我们在马尔可夫框架下将 PERT 与 n-gram 结合，进一步提升了性能。最后，外部词典被整合进 PERT 以解决 IME 的 OOD 问题。
引用
@article{arxiv.2205.11737,
title = {PERT: A New Solution to Pinyin to Character Conversion Task},
author = {Jinghui Xiao and Qun Liu and Xin Jiang and Yuanfeng Xiong and Haiteng Wu and Zhe Zhang},
journal= {arXiv preprint arXiv:2205.11737},
year = {2022}
}