利用 BERT 与卷积神经网络对政党宣言与 COVID-19 新闻发布会的文本分类
计算与语言
2020-11-03 v2 机器学习
摘要
我们利用 Manifestos Project（Volkens 等，2020a）中现有人工专家标注的政党宣言语料库，并将其应用于 COVID-19 新闻发布会语料库（Chatsiou, 2020），构建了句子级政治话语分类器。我们使用人工标注的政党宣言作为训练数据来训练一个局部主题卷积神经网络（CNN）分类器；随后将其应用于 COVID-19 新闻发布会语料库，以自动分类测试语料库中的句子。我们报告了一系列在预训练词嵌入之上训练 CNN 用于句子级分类任务的实验。我们表明，CNN 与 BERT 等 transformer 结合优于 CNN 与 other embeddings（Word2Vec、Glove、ELMo）结合，并且可以使用预训练分类器在不同政治文本上无需额外训练即可进行自动分类。
引用
@article{arxiv.2010.10267,
title = {Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks},
author = {Kakia Chatsiou},
journal= {arXiv preprint arXiv:2010.10267},
year = {2020}
}
备注
12 pages, 1 figure, 4 tables