测试训练分类器预测对自然发生扰动的鲁棒性
机器学习
2023-02-10 v2
摘要
正确量化机器学习模型的鲁棒性是判断其是否适合特定任务并最终赢得信任的核心方面。我们解决寻找个体预测鲁棒性的问题。我们从理论和经验示例两方面表明，先前为此提出的基于反事实的方法是不充分的，因为它不是确定“自然”发生、超出特定对抗攻击情景的扰动鲁棒性的有效度量。我们提出了一种灵活方法，针对每个应用单独建模输入数据中可能的扰动。随后将其与概率方法结合，计算“真实世界”扰动改变预测的可能性，从而给出训练机器学习模型个体预测鲁棒性的定量信息。该方法不需要访问分类器的内部，因此原则上适用于任何黑盒模型。然而，它基于蒙特卡洛采样，因此仅适用于小维度输入空间。我们在 Iris 和 Ionosphere 数据集、一个预测机场雾的应用以及解析可解案例上说明了我们的方法。
引用
@article{arxiv.2204.10046,
title = {Testing robustness of predictions of trained classifiers against naturally occurring perturbations},
author = {Sebastian Scher and Andreas Trügler},
journal= {arXiv preprint arXiv:2204.10046},
year = {2023}
}
备注
25 pages, 7 figures