真或假:深度学习模型学到的是谣言检测吗?
计算与语言
2022-05-31 v1
摘要
人类很难分辨谣言的真假,但当前的深度学习模型能够在许多谣言数据集上超越人类并取得优异的准确率。本文探究那些看似表现良好的深度学习模型是否真正学到了谣言检测。我们通过在一个基于 BERT 的模型上于五个真实世界数据集上微调,并对所有测试集进行评估,来考察模型对域外样本的泛化能力。实验结果表明,模型在其他未见数据集上的泛化能力不尽如人意,甚至连常识性谣言都无法检测。此外,我们通过实验发现,当谣言数据集存在严重的数据缺陷时,模型会走捷径并学到荒谬的知识。这意味着基于特定规则对谣言文本进行简单修改就会导致模型预测不一致。为了更真实地评估谣言检测模型,我们提出了一种称为配对测试(PairT)的新评估方法,要求模型同时正确预测一对测试样本。最后,我们就如何更好地构建谣言数据集和评估谣言检测模型给出了建议。
引用
@article{arxiv.2112.00245,
title = {True or False: Does the Deep Learning Model Learn to Detect Rumors?},
author = {Shiwen Ni and Jiawen Li and Hung-Yu Kao},
journal= {arXiv preprint arXiv:2112.00245},
year = {2022}
}
备注
5 pages, 3 figures, 8 tables