GePpeTto：将意大利语雕琢成语言模型
计算与语言
2020-04-30 v1
摘要
近年来，预训练神经架构在多项 NLP 任务上带来了显著提升。然而，生成式语言模型主要仍仅面向英语可用。我们开发了 GePpeTto，这是基于 GPT-2 架构构建的第一个意大利语生成式语言模型。我们通过自动评估和基于人工的评估对 GePpeTto 的质量进行了深入分析。自动评估包括（i）计算不同体裁上的困惑度，以及（ii）对 GePpeTto 写作特征的画像分析。我们发现 GePpeTto 的生成内容类似于人类产出的盆景版本，句子更短但依然复杂。人工评估在一个句子补全任务上进行，GePpeTto 的输出被判定为自然的频率高于随机水平，且比我们作为基线的更简单语言模型更接近原始人类文本。
引用
@article{arxiv.2004.14253,
title = {GePpeTto Carves Italian into a Language Model},
author = {Lorenzo De Mattei and Michele Cafagna and Felice Dell'Orletta and Malvina Nissim and Marco Guerini},
journal= {arXiv preprint arXiv:2004.14253},
year = {2020}
}