SimpleBERT：一种学习生成简单词的预训练模型
计算与语言
2022-04-19 v1
摘要
预训练模型如今在自然语言处理任务中被广泛使用。然而，在文本简化这一特定领域，关于改进预训练模型的研究仍是空白。在这项工作中，我们提出了一种用于文本简化的继续预训练方法。具体而言，我们提出了一种新的掩码语言建模（MLM）机制，该机制不随机掩码词，而仅掩码简单词。新机制可使模型学习生成简单词。我们使用小规模简单文本数据集进行继续预训练，并采用两种方法从文本中识别简单词。我们选择具有代表性的预训练模型BERT，并使用我们提出的方法对其进行继续预训练。最终，我们得到SimpleBERT，它在词汇简化和句子简化任务上均超越BERT，并在多个数据集上取得了最先进的结果。此外，SimpleBERT无需修改即可替代现有简化模型中的BERT。
引用
@article{arxiv.2204.07779,
title = {SimpleBERT: A Pre-trained Model That Learns to Generate Simple Words},
author = {Renliang Sun and Xiaojun Wan},
journal= {arXiv preprint arXiv:2204.07779},
year = {2022}
}