基于 Transformer 的单语与多语模型对比：跨多种语言任务的考察
计算与语言
2020-07-21 v1 机器学习
摘要
BERT（Bidirectional Encoder Representations from Transformers）与 ALBERT（A Lite BERT）是用于预训练语言模型的方法，后续可针对多种自然语言理解任务进行微调。这些方法已被应用于若干此类任务（多为英文），取得了超越当前最优（SOTA）的结果。本文的贡献有两点。首先，我们发布了训练好的葡萄牙语 BERT 与 ALBERT 模型。其次，我们在语义文本相似度、识别文本蕴含、文本类别分类、情感分析、攻击性评论检测和假新闻检测等实验中对比我们的单语模型与标准多语模型，以评估所生成语言表示的有效性。结果表明，单语与多语模型均能取得 SOTA，而训练单一语言模型（若有）的优势很小。
引用
@article{arxiv.2007.09757,
title = {Mono vs Multilingual Transformer-based Models: a Comparison across Several Language Tasks},
author = {Diego de Vargas Feijo and Viviane Pereira Moreira},
journal= {arXiv preprint arXiv:2007.09757},
year = {2020}
}