ShufText:一种评估文本分类模型脆弱性的简单黑盒方法
计算与语言
2022-02-04 v1 机器学习
摘要
文本分类是最基础的自然语言处理任务,具有从情感分析到主题分类的广泛应用。近来,基于 CNN、LSTM 和 Transformer 的深度学习方法已成为文本分类的事实标准方法。本工作中,我们强调了与这些方法相关的一个常见问题。我们表明,这些系统过度依赖文本中有助于分类的重要词。在有限训练数据和判别性训练策略下,这些方法倾向于忽略句子的语义,而仅仅关注关键词或重要 n-gram。我们提出一种简单的黑盒技术 ShufText 来呈现模型的缺陷并识别模型对关键词的过度依赖。该方法随机打乱句子中的词并评估分类准确率。我们发现在常见文本分类数据集上,打乱的影响很小,这些模型以高概率预测原始类别。我们还评估了语言模型预训练对这些模型的影响,并尝试回答有关模型对域外句子鲁棒性的问题。我们表明,基于 CNN 或 LSTM 的简单模型以及像 BERT 这样的复杂模型,其在句法和语义理解方面都值得质疑。
引用
@article{arxiv.2102.00238,
title = {ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text Classification Models},
author = {Rutuja Taware and Shraddha Varat and Gaurav Salunke and Chaitanya Gawande and Geetanjali Kale and Rahul Khengare and Raviraj Joshi},
journal= {arXiv preprint arXiv:2102.00238},
year = {2022}
}