图神经网络增强的语言模型用于高效多语言文本分类
计算与语言
2022-03-08 v1
摘要
在线社交媒体在灾难期间充当各种有价值且可操作信息的来源。由于用户生成内容的特性，这些信息可能以多种语言呈现。一个能自动识别并分类这些可操作信息的有效系统应能够处理多种语言且在有限监督下工作。然而，现有工作大多仅关注英语，并假设有充足标注数据可用。为克服这些挑战，我们提出了一种多语言灾难相关文本分类系统，其能够在单语、跨语言和 multilingual 场景下及有限监督下工作。我们的端到端可训练框架将图神经网络应用于语料库的通用性与基于Transformer的大型语言模型应用于样本的威力相结合，并借助两者间的交叉注意力实现。我们在单语、跨语言和 multilingual 分类场景下共九个英语、非英语和单语言数据集上评估了我们的框架。我们的框架在加权F分数上优于灾难领域最先进模型和多语言BERT基线。我们还展示了所提模型在有限监督下的泛化能力。
引用
@article{arxiv.2203.02912,
title = {Graph Neural Network Enhanced Language Models for Efficient Multilingual Text Classification},
author = {Samujjwal Ghosh and Subhadeep Maji and Maunendra Sankar Desarkar},
journal= {arXiv preprint arXiv:2203.02912},
year = {2022}
}
备注
Under Review