TestRank：为深度学习任务中无标签测试实例排序
机器学习
2021-05-24 v1
摘要
深度学习（DL）已在多种任务中取得前所未有的成功。然而，由于 DL 模型缺乏可解释性以及需覆盖庞大的测试输入空间，DL 系统 notoriously 难以测试和调试。一般而言，收集大量测试数据相对容易，但标注成本可能相当高。因此，有必要进行测试用例选择，仅标注那些被选中的“高质量”揭示缺陷的测试输入，以降低测试成本。本文提出一种新颖的测试优先化技术，根据无标签测试实例揭示缺陷的能力为其排序，即 TestRank。与现有方案不同，TestRank 在优先化测试实例时同时利用其实质属性和上下文属性。具体而言，我们首先在测试实例和训练样本上构建相似度图，并进行基于图的半监督学习以提取上下文特征。然后，对于特定测试实例，将从图神经网络（GNN）提取的上下文特征与 DL 模型本身获得的内在特征相结合，以预测其揭示缺陷的概率。最后，TestRank 按上述概率值降序对无标签测试实例排序。我们在多种图像分类数据集上评估了 TestRank 的性能。实验结果表明，我们的方法的调试效率显著优于现有测试优先化技术。
引用
@article{arxiv.2105.10113,
title = {TestRank: Bringing Order into Unlabeled Test Instances for Deep Learning Tasks},
author = {Yu Li and Min Li and Qiuxia Lai and Yannan Liu and Qiang Xu},
journal= {arXiv preprint arXiv:2105.10113},
year = {2021}
}