重回语言循环模型
计算与语言
2023-04-19 v2
摘要
仅仅因为某些纯循环模型存在难以优化且在当今硬件上效率低的问题，它们未必就是糟糕的语言模型。我们通过以下事实证明这一点：这些模型仍可通过稍好的循环单元、架构、目标函数以及优化的组合得到改进。在此过程中，我们在小数据集上以及使用动态评估的 Enwik8 上建立了语言建模的新 SOTA。
引用
@article{arxiv.2211.01848,
title = {Circling Back to Recurrent Models of Language},
author = {Gábor Melis},
journal= {arXiv preprint arXiv:2211.01848},
year = {2023}
}