缩小监督分类与无监督主题建模在社会媒体辅助危机管理间的鸿沟
计算与语言
2021-03-23 v1
摘要
Twitter 等社交媒体在自然灾害期间为危机管理者与受灾群众提供有价值的信息。机器学习可帮助从危机期间分享的大量消息中结构化与提取信息；然而，危机不断演化的特性使得有效的领域适配至关重要。监督分类受限于可能不适用于新事件的不可变类标签，无监督主题建模则受限于先验知识不足。本文中，我们弥合二者间的鸿沟，并表明在危机相关推文分类上微调的 BERT 嵌入可有效用于适配新危机，在保留监督训练相关类别的同时发现新主题，并利用双向自注意力提取主题关键词。我们构建了一个暴风雪推文数据集以评估方法向新危机的迁移能力，并发现其在基于危机管理者需求的自动与人工评估中均优于传统主题模型。更广泛地，我们的方法可用于潜在类别未知但与来自其他领域的已知类别重叠的文本领域适配。
引用
@article{arxiv.2103.11835,
title = {Bridging the gap between supervised classification and unsupervised topic modelling for social-media assisted crisis management},
author = {Mikael Brunila and Rosie Zhao and Andrei Mircea and Sam Lumley and Renee Sieber},
journal= {arXiv preprint arXiv:2103.11835},
year = {2021}
}
备注
Adapt-NLP @EACL2021; first three authors contributed equally; code available at https://github.com/smacawi/bert-topics/