利用可解释自然语言处理模型对抗 COVID-19 信息流行病
计算与语言
2021-03-02 v1
摘要
随着大流行的发展，关于 COVID-19 的误信息在社交媒体上十分盛行，其相关风险极高。因此，检测并对抗此类误信息至关重要。近来，使用自然语言处理技术的深度学习模型，如 BERT（Bidirectional Encoder Representations from Transformers），在检测误信息方面取得了巨大成功。在本文中，我们提出了一种基于 DistilBERT 和 SHAP（Shapley Additive exPlanations）的可解释自然语言处理模型，以对抗关于 COVID-19 的误信息，因其高效且有效。首先，我们收集了一个包含 984 条经事实核查的 COVID-19 声明的数据集。通过使用回译（back-translation）增强数据，我们将数据集样本量翻倍，且 DistilBERT 模型能够在检测 COVID-19 误信息上获得良好性能（准确率：0.972；曲线下面积：0.993）。我们的模型还在用于 AAAI2021 - COVID-19 假新闻检测共享任务的更大数据集上进行了测试，并获得良好性能（准确率：0.938；曲线下面积：0.985）。在两个数据集上的性能均优于传统机器学习模型。其次，为提升公众对模型预测的信任，我们采用 SHAP 来改进模型可解释性，并通过一项具有三种条件的被试间实验进一步评估，即文本（T）、文本+SHAP 解释（TSE）以及文本+SHAP 解释+来源与证据（TSESE）。参与者在 TSE 和 TSESE 条件下比在 T 条件下显著更可能信任并分享与 COVID-19 相关的信息。我们的结果为检测 COVID-19 误信息及提升公众信任提供了良好启示。
引用
@article{arxiv.2103.00747,
title = {Combat COVID-19 Infodemic Using Explainable Natural Language Processing Models},
author = {Jackie Ayoub and X. Jessie Yang and Feng Zhou},
journal= {arXiv preprint arXiv:2103.00747},
year = {2021}
}