假新闻挑战立场检测任务的回顾性分析
信息检索
2018-06-15 v1 人工智能
计算与语言
社会与信息网络
摘要
2017年假新闻挑战第一阶段（FNC-1）共享任务将立场分类任务作为检测假新闻的关键首要步骤。迄今为止，尚无深入分析论文批判性地讨论FNC-1的实验设置、复现结果并为下一代立场分类方法得出结论。本文针对三个表现最优的系统提供此类深入分析。我们首先发现FNC-1所提出的评估指标偏向于易于分类的多数类，从而高估了方法的真实判别能力。因此，我们提出一种基于F1的新指标，给出了改变的系统排名。接下来，我们比较所使用的特征与架构，由此提出一种特征丰富的堆叠LSTM模型，其性能与最佳系统相当，但在预测少数类上更优。为理解方法的泛化能力，我们推导了一个新数据集并进行了领域内与跨领域实验。我们的定性与定量研究有助于解释原始FNC-1分数，并理解哪些特征有助于提升性能及其原因。我们复现研究中使用的新数据集与全部源代码均已公开以供未来研究。
引用
@article{arxiv.1806.05180,
title = {A Retrospective Analysis of the Fake News Challenge Stance Detection Task},
author = {Andreas Hanselowski and Avinesh PVS and Benjamin Schiller and Felix Caspelherr and Debanjan Chaudhuri and Christian M. Meyer and Iryna Gurevych},
journal= {arXiv preprint arXiv:1806.05180},
year = {2018}
}