评估欺骗检测模型对语言变异的鲁棒性
计算与语言
2021-04-26 v1
摘要
随着机器学习驱动的算法判断的日益使用，开发对演化或经操纵的输入具有鲁棒性的模型至关重要。我们针对欺骗性新闻检测这一在线错误信息传播背景下的重要任务，提出了对模型抵御语言变异鲁棒性的广泛分析。我们考虑两个预测任务，并比较三种最先进的嵌入方法，以凸显模型性能、高置信度误分类和高影响失败中的一致趋势。通过衡量对抗防御策略的有效性，并使用基于字符和单词扰动的文本评估模型对对抗攻击的敏感性，我们发现字符或混合集成模型是最有效的防御手段，且基于字符扰动的攻击策略更为成功。
引用
@article{arxiv.2104.11729,
title = {Evaluating Deception Detection Model Robustness To Linguistic Variation},
author = {Maria Glenski and Ellyn Ayton and Robin Cosbey and Dustin Arendt and Svitlana Volkova},
journal= {arXiv preprint arXiv:2104.11729},
year = {2021}
}