UniCase——重新思考语言模型中的大小写处理
计算与语言
2020-10-23 v1 人工智能
摘要
在本文中，我们提出了一种处理语言建模（LM）中大小写敏感问题的新方法。我们对RoBERTa语言模型进行了简单的架构修改，并配以一种称为统一大小写语言模型（UniCase）的新分词策略。我们在GLUE基准上测试了我们的方案，性能提升了0.42分。此外，我们证明当需要处理所有词元均为大写形式的文本数据时，UniCase模型表现更佳（+5.88分）。
引用
@article{arxiv.2010.11936,
title = {UniCase -- Rethinking Casing in Language Models},
author = {Rafal Powalski and Tomasz Stanislawek},
journal= {arXiv preprint arXiv:2010.11936},
year = {2020}
}