基于掩码神经元覆盖的白盒测试NLP模型方法
计算与语言
2022-05-11 v1 机器学习
摘要
近期文献中对使用CheckList等黑盒策略测试NLP模型行为的兴趣日益增长。白盒测试的研究已开发出多种方法来评估深度模型内部行为被测试的充分程度，但它们不适用于NLP模型。我们提出一组为基于Transformer的NLP模型定制的白盒测试方法。其中包括掩码神经元覆盖（MNCOVER），用于衡量测试过程中模型注意力层被激活的充分程度。我们表明，MNCOVER能够精炼CheckList生成的测试套件，将其规模平均缩减60%以上，同时保留失败测试——从而集中测试套件的故障检测能力。进一步，我们展示了MNCOVER如何用于引导CheckList输入生成、评估替代的NLP测试方法，以及驱动数据增强以提升准确率。
引用
@article{arxiv.2205.05050,
title = {White-box Testing of NLP models with Mask Neuron Coverage},
author = {Arshdeep Sekhon and Yangfeng Ji and Matthew B. Dwyer and Yanjun Qi},
journal= {arXiv preprint arXiv:2205.05050},
year = {2022}
}
备注
Findings of NAACL 2022 submission, 12 pages