COVID-Twitter-BERT：用于分析 Twitter 上 COVID-19 内容的自然语言处理模型
计算与语言
2020-05-18 v1 机器学习
社会与信息网络
摘要
在这项工作中，我们发布了 COVID-Twitter-BERT（CT-BERT），一个基于 transformer 的模型，在关于 COVID-19 主题的大量 Twitter 消息语料上进行了预训练。我们的模型在五个不同的分类数据集上相比其基础模型 BERT-Large 显示出 10-30% 的边际提升。最大的提升出现在目标领域。诸如 CT-BERT 之类的预训练 transformer 模型在特定目标领域上训练，可用于多种自然语言处理任务，包括分类、问答和聊天机器人。CT-BERT 经过优化以用于 COVID-19 内容，特别是来自 Twitter 的社交媒体帖子。
引用
@article{arxiv.2005.07503,
title = {COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter},
author = {Martin Müller and Marcel Salathé and Per E Kummervold},
journal= {arXiv preprint arXiv:2005.07503},
year = {2020}
}