CoNTACT：面向疫苗犹豫与论点检测的荷兰语COVID-19自适应BERT模型
计算与语言
2022-03-15 v1
摘要
我们提出CoNTACT：一个适配于COVID-19推文领域的荷兰语语言模型。该模型通过在2021年发布的280万条荷兰语COVID-19相关推文上继续RobBERT（Delobelle, 2020）的预训练阶段而开发。为测试模型性能并与RobBERT比较，两个模型在两项任务上进行了测试：（1）二分类疫苗犹豫检测；（2）疫苗犹豫论点检测。两项任务均使用了Twitter与Facebook数据以展示跨体裁性能。在我们的实验中，CoNTACT在任务1的所有实验中均较RobBERT取得统计显著的提升。对于任务2，我们在几乎所有实验的所有类别中观察到实质性改进。误差分析表明，领域自适应产生了更好的领域特定术语表示，使CoNTACT做出更准确的分类决策。
引用
@article{arxiv.2203.07362,
title = {CoNTACT: A Dutch COVID-19 Adapted BERT for Vaccine Hesitancy and Argumentation Detection},
author = {Jens Lemmens and Jens Van Nooten and Tim Kreutz and Walter Daelemans},
journal= {arXiv preprint arXiv:2203.07362},
year = {2022}
}