基于 Transformer 的语言模型微调方法用于 COVID-19 假新闻检测
计算与语言
2023-02-13 v3 人工智能
摘要
随着 COVID-19 大流行，相关假新闻在社交媒体上铺天盖地传播。不加辨别地轻信它们会给人们生活带来巨大困扰。然而，通用语言模型因缺乏大规模标注数据和对领域特定知识的充分语义理解，在这些假新闻检测上表现较弱。而在相应语料上训练的模型也因学习不足而表现平平。本文提出一种新颖的基于 Transformer 的语言模型微调方法用于此类假新闻检测。首先，针对专业短语的实际语义扩展各模型的词表。其次，我们采用 heated-up softmax 损失来区分难挖掘样本，这类样本因短文本歧义在假新闻中十分常见。然后，我们引入对抗训练以提升模型鲁棒性。最后，通过多层感知机融合通用语言模型 RoBERTa 与领域特定模型 CT-BERT 提取的预测特征，以整合细粒度与高层特定表示。在现有 COVID-19 假新闻数据集上的定量实验结果表明，该方法相较于 SOTA 方法在各种评估指标上均具更优性能。此外，最佳加权平均 F1 分数达到 99.02%。
引用
@article{arxiv.2101.05509,
title = {Transformer-based Language Model Fine-tuning Methods for COVID-19 Fake News Detection},
author = {Ben Chen and Bin Chen and Dehong Gao and Qijin Chen and Chengfu Huo and Xiaonan Meng and Weijun Ren and Yang Zhou},
journal= {arXiv preprint arXiv:2101.05509},
year = {2023}
}
备注
AAAI 2021 Workshop Best Paper. 9 pages, 1 figures