CrisisBERT：一种用于危机分类与上下文危机嵌入的鲁棒Transformer
计算与语言
2020-05-19 v2 机器学习
社会与信息网络
摘要
危机事件（如自然灾害、恐怖袭击和流行病）的分类是一项关键任务，可用于生成早期信号并通知相关方采取自发行动以减少总体损失。尽管诸如自然灾害等危机可由专业机构预测，某些事件最初由民众发出信号，例如近期的COVID-19大流行。Twitter等社交媒体平台通常通过每日超过五亿条推文的高容量信息交换，暴露此类危机的第一手信号。先前工作提出了使用常规机器学习和神经网络模型的各种危机嵌入与分类方法。然而，尚无工作使用基于注意力的先进深度神经网络模型（如Transformer和文档级上下文嵌入）进行危机嵌入与分类。本工作提出CrisisBERT，一种基于Transformer的端到端模型，用于危机检测与危机识别两项危机分类任务，在准确率和f1分数上均展现出有前景的结果。所提模型相较基准还表现出优越的鲁棒性，在从6类扩展到36类事件且仅增加51.4%数据点时性能折损甚微。我们还提出Crisis2Vec，一种基于注意力的文档级上下文嵌入架构用于危机嵌入，其性能优于Word2Vec和GloVe等传统危机嵌入方法。据我们所知，我们的工作是文献中首个提出使用基于Transformer的危机分类与文档级上下文危机嵌入的。
引用
@article{arxiv.2005.06627,
title = {CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding},
author = {Junhua Liu and Trisha Singhal and Lucienne T. M. Blessing and Kristin L. Wood and Kwan Hui Lim},
journal= {arXiv preprint arXiv:2005.06627},
year = {2020}
}