MAPGN：用于序列到序列预训练的掩码指针生成网络
计算与语言
2021-02-17 v2
摘要
本文提出一种用于指针生成网络的自监督学习方法，以改进口语文本规范化。将口语风格文本转换为风格规范化文本的口语文本规范化，正成为改善机器翻译与摘要等后续处理的重要技术。迄今最成功的口语文本规范化方法是利用具备从输入序列复制机制的指针生成网络进行序列到序列（seq2seq）映射。然而，这些模型需要大量口语风格文本与风格规范化文本的配对数据，难以准备如此规模的数据。为基于有限配对数据构建口语文本规范化模型，我们关注可利用非配对文本数据改进 seq2seq 模型的自监督学习。遗憾的是，常规自监督学习方法未假设使用指针生成网络。因此，我们提出一种新颖的自监督学习方法——掩码指针生成网络（MAsked Pointer-Generator Network, MAPGN）。该方法通过利用复制机制学习填充掩码词，可有效预训练指针生成网络。实验表明，在两个口语文本规范化任务中，MAPGN 对指针生成网络的效果优于常规自监督学习方法。
引用
@article{arxiv.2102.07380,
title = {MAPGN: MAsked Pointer-Generator Network for sequence-to-sequence pre-training},
author = {Mana Ihori and Naoki Makishima and Tomohiro Tanaka and Akihiko Takashima and Shota Orihashi and Ryo Masumura},
journal= {arXiv preprint arXiv:2102.07380},
year = {2021}
}
备注
Accepted at ICASSP 2021