基于深度 Transformer 模型的芬兰语语言建模
计算与语言
2020-03-30 v2 机器学习
声音
音频与语音处理
机器学习
摘要
在 LSTM 长期被视为语言建模主导模型架构之后，Transformer 近来成为了语言建模的中心舞台。在本项目中，我们研究了 Transformer 架构——BERT 与 Transformer-XL——在语言建模任务上的表现。我们采用芬兰语的子词模型设置，并将其与先前的最先进（SOTA）LSTM 模型进行比较。BERT 取得了 14.5 的伪困惑度分数，据我们所知这是首个此类度量结果。Transformer-XL 将困惑度分数提升至 73.58，比 LSTM 模型提高了 27%。
引用
@article{arxiv.2003.11562,
title = {Finnish Language Modeling with Deep Transformer Models},
author = {Abhilash Jain and Aku Ruohe and Stig-Arne Grönroos and Mikko Kurimo},
journal= {arXiv preprint arXiv:2003.11562},
year = {2020}
}
备注
4 pages