利用社区与作者上下文解释基于文本的欺骗检测模型的性能与偏差
计算机与社会
2021-04-29 v1
摘要
在线社区中分享的欺骗性新闻帖子可通过NLP模型检测，近期大量研究聚焦于此类模型的开发。在本工作中，我们利用在线社区与作者的特征——即内容如何及在何处发布这一上下文——来解释神经网络欺骗检测模型的性能，并识别受模型准确率或失败影响不成比例的次群体。我们考察谁在发布内容，以及内容发布至何处。我们发现，尽管作者特征比社区特征更能预测欺骗性内容，但两者均与模型性能强相关。传统性能指标如F1分数可能未能捕捉模型在特定作者等孤立次群体上的糟糕表现，因此，对欺骗检测模型更细致的评价至关重要。
引用
@article{arxiv.2104.13490,
title = {Leveraging Community and Author Context to Explain the Performance and Bias of Text-Based Deception Detection Models},
author = {Galen Weld and Ellyn Ayton and Tim Althoff and Maria Glenski},
journal= {arXiv preprint arXiv:2104.13490},
year = {2021}
}