基准测试流行分类模型对随机与定向扰动的鲁棒性
计算与语言
2020-02-04 v1
摘要
文本分类模型，尤其是基于神经网络的模型，已在许多流行基准数据集上达到很高的准确率。然而，此类模型在部署于真实世界应用时往往表现糟糕。主要原因是这些模型未针对足够的真实世界自然数据进行测试。根据应用用户的不同，模型输入的词汇与风格可能存在很大差异。这凸显了对于一个与模型无关的测试数据集的需求，该数据集应包含自然出现在真实环境中的各类扰动。在此类基准数据集上训练与测试的模型，将对真实世界数据更具鲁棒性。然而，此类数据集不易获取。本工作中，我们通过对基准数据集沿自然发生的扰动（如拼写错误、文本噪声与同义词）进行扩展并公开提供，来解决此问题。通过大量实验，我们利用局部可解释模型无关解释（LIME）比较随机与定向扰动策略。我们报告了两种流行文本分类模型在这些扰动下的脆弱性，并发现定向扰动在大多数情况下比随机选取更能暴露模型的脆弱性。
引用
@article{arxiv.2002.00754,
title = {Benchmarking Popular Classification Models' Robustness to Random and Targeted Corruptions},
author = {Utkarsh Desai and Srikanth Tamilselvam and Jassimran Kaur and Senthil Mani and Shreya Khare},
journal= {arXiv preprint arXiv:2002.00754},
year = {2020}
}