TimeLMs：基于 Twitter 的历时语言模型
计算与语言
2022-04-04 v2 人工智能
摘要
尽管时间变量十分重要，但它在 NLP 与语言模型文献中很大程度上被忽视了。在本文中，我们提出 TimeLMs，一组专门面向历时 Twitter 数据的语言模型。我们展示了持续学习策略有助于增强基于 Twitter 的语言模型处理未来分布外推文的能力，同时使它们与标准化且更单一的基准具有竞争力。我们还进行了若干定性分析，展示它们如何应对涉及特定命名实体或概念漂移的活动趋势与峰值。
引用
@article{arxiv.2202.03829,
title = {TimeLMs: Diachronic Language Models from Twitter},
author = {Daniel Loureiro and Francesco Barbieri and Leonardo Neves and Luis Espinosa Anke and Jose Camacho-Collados},
journal= {arXiv preprint arXiv:2202.03829},
year = {2022}
}
备注
Accepted to ACL 2022 (Demo Track) - https://github.com/cardiffnlp/timelms