SMILE：社交媒体语言理解的评测与领域自适应
计算与语言
2023-07-04 v1
摘要
我们研究了基于 transformer 的语言模型（LMs）理解社交媒体语言的能力。社交媒体（SM）语言不同于标准书面语言，然而现有基准未能充分捕捉 LM 在这一具有社会、经济和政治重要性的领域中的表现。我们量化了社交媒体语言与传统语言差异的程度，并得出结论：无论是在 token 分布还是语言漂移速率方面，这种差异都十分显著。接下来，我们引入了一个新的社交媒体语言评测基准（SMILE，Social MedIa Language Evaluation），涵盖四个 SM 平台和十一项任务。最后，我们表明，学习一个 tokenizer 并在社交媒体与传统语言混合语料上预训练，可得到一个 LM，其在整体 SMILE 分数上比最佳的同类规模替代模型高出 4.2 分。
引用
@article{arxiv.2307.00135,
title = {SMILE: Evaluation and Domain Adaptation for Social Media Language Understanding},
author = {Vasilisa Bashlovkina and Riley Matthews and Zhaobin Kuang and Simon Baumgartner and Michael Bendersky},
journal= {arXiv preprint arXiv:2307.00135},
year = {2023}
}