MaxMatch-Dropout：面向 WordPiece 的子词正则化
计算与语言
2022-09-12 v1
摘要
我们提出一种针对 WordPiece 的子词正则化方法，其使用最大匹配算法进行分词。所提方法 MaxMatch-Dropout 在基于最大匹配算法的搜索中随机丢弃词。它实现了对 BERT-base 等流行预训练语言模型带子词正则化的微调。实验结果表明，MaxMatch-Dropout 提升了文本分类与机器翻译任务以及其他子词正则化方法的性能。此外，我们对子词正则化方法进行了对比分析：基于 SentencePiece 的子词正则化（Unigram）、BPE-Dropout 与 MaxMatch-Dropout。
引用
@article{arxiv.2209.04126,
title = {MaxMatch-Dropout: Subword Regularization for WordPiece},
author = {Tatsuya Hiraoka},
journal= {arXiv preprint arXiv:2209.04126},
year = {2022}
}
备注
Accepted to appear at COLING2022