用于研究深度神经网络蜕变测试用例似然的计算剖面模型
机器学习
2021-07-30 v1 软件工程
摘要
神经网络测试用例旨在执行架构中不同的推理路径，并用于验证预测结果。本文中，我们引入“计算剖面”作为神经元激活水平的向量。我们研究蜕变测试用例的计算剖面似然分布相对于训练、测试和误差控制用例的似然分布。我们对每个不同输出类的神经元激活水平估计非参数概率密度。概率仅使用训练用例推断，无需关于蜕变测试用例的任何额外知识。实验通过在 MNIST Fashion 图像库上训练网络并比较预测似然与误差控制数据及蜕变测试用例所得者进行。实验结果显示，训练和测试用例的计算剖面似然分布某种程度相似，而随机噪声控制数据的分布始终显著低于训练和测试集所观察者。相反，蜕变测试用例展现出相对于训练、测试和随机噪声处于扩展范围的预测似然。此外，所提方法允许独立评估不同训练类，实验表明某些类比较其他类对蜕变测试用例的误分类更敏感。总之，蜕变测试用例代表对神经网络架构非常激进的测试。进一步，由于蜕变测试用例迫使网络误分类那些似然与训练用例相似之输入，它们亦可被视为规避基于计算剖面似然评估之防御的对抗攻击。
引用
@article{arxiv.2107.13491,
title = {Models of Computational Profiles to Study the Likelihood of DNN Metamorphic Test Cases},
author = {Ettore Merlo and Mira Marhaba and Foutse Khomh and Houssem Ben Braiek and Giuliano Antoniol},
journal= {arXiv preprint arXiv:2107.13491},
year = {2021}
}
备注
9 pages (10 pages with ref.)