使用序列到序列Transformer进行危机领域自适应
计算与语言
2021-10-18 v1
摘要
社交媒体上的用户生成内容（UGC）可以作为危机情况下应急响应人员的关键信息来源。然而，由于涉及的数据量巨大，需要计算技术来在新发事件期间有效过滤和优先处理这些内容。在文献中，这些技术使用来自先前危机的标注内容进行训练。在本文中，我们通过考察相似类型的危机事件在多大程度上更适合自适应到新事件（跨领域自适应），来研究如何最好地利用这些先验知识应对新危机。鉴于Transformer最近在各种语言处理任务中的成功，我们提出了CAST：一种利用序列到序列Transformer进行危机领域自适应的方法。我们使用两个主要的危机相关消息分类数据集对CAST进行评估。我们的实验表明，在不使用任何目标数据的情况下，我们基于CAST的最佳运行在领域内和跨领域情境下均达到了最先进的性能。此外，当使用更大的语言模型进行训练时，CAST在一对一的跨领域自适应中特别有效。在将多个危机联合用作源领域的多对一自适应中，CAST进一步提升了其性能。另外，我们发现更相似的事件更有可能带来更好的自适应性能，而使用不相似的事件进行微调则无助于自适应。为了便于复现，我们将代码开源给社区。
引用
@article{arxiv.2110.08015,
title = {Crisis Domain Adaptation Using Sequence-to-sequence Transformers},
author = {Congcong Wang and Paul Nulty and David Lillis},
journal= {arXiv preprint arXiv:2110.08015},
year = {2021}
}
备注
18th International Conference on Information Systems for Crisis Response and Management (ISCRAM 2021)