微调模型用于假新闻检测的可泛化性评估
机器学习
2022-05-24 v2 计算与语言
摘要
Covid-19大流行导致了危险错误信息的急剧且并行增长，被CDC和WHO称为“信息疫情”。与Covid-19信息疫情相关的错误信息持续变化；这可能因概念漂移导致微调模型性能退化。若模型足够好地泛化以捕捉漂移数据中某些周期性方面，则可缓解退化。在本文中，我们探究了预训练与微调的假新闻检测器在9个假新闻数据集上的可泛化性。我们表明现有模型常对其训练数据集过拟合，且在未见过的数据上表现不佳。然而，在与训练数据重叠的某些未见过数据子集上，模型具有更高准确率。基于该观察，我们还提出了KMeans-Proxy，一种基于K-Means聚类的快速有效方法，用于快速识别这些未见过数据的重叠子集。KMeans-Proxy在不同数据集上将未见过假新闻数据集上的可泛化性提升了0.1-0.2个f1值点。我们呈现了我们的可泛化性实验以及KMeans-Proxy，以进一步推动解决假新闻问题的研究。
引用
@article{arxiv.2205.07154,
title = {Evaluating Generalizability of Fine-Tuned Models for Fake News Detection},
author = {Abhijit Suprem and Calton Pu},
journal= {arXiv preprint arXiv:2205.07154},
year = {2022}
}