基于极值理论理解参数显著性
计算机视觉与模式识别
2023-12-06 v2 人工智能
摘要
近年来，深度神经网络在社会中的应用日益广泛。在诊断不良模型行为时，识别哪些参数引发了误分类十分有用。参数显著性这一概念被提出并用于诊断卷积神经网络（CNNs）：基于参数显著性对可能导致误分类的卷积滤波器进行排序。研究还表明，微调排名靠前的显著滤波器可高效纠正 ImageNet 上的错误识别。然而，在理解为何参数显著性排序能够找到引发错误识别的滤波器方面，仍存在知识空白。本工作中，我们试图从统计视角即极值理论来分析参数显著性排序，以弥补这一空白。我们首先指出，已有工作隐式地假设为每个滤波器计算的梯度范数服从正态分布。随后，我们阐明了参数显著性与基于峰值超过阈值（POT）方法的分数之间的关系，POT 方法常用于建模极值。最后，我们用 POT 方法重新表述了参数显著性，该重新表述被视为统计异常检测，且不需要已有参数显著性表述的隐式假设。实验结果表明，我们的重新表述也能检测出恶意滤波器。此外，我们展示了已有的参数显著性方法对深度神经网络中的层深度存在偏倚。特别地，在发生域偏移的情况下，该偏倚可能阻碍对引发错误识别的滤波器的发现。相比之下，基于 POT 的参数显著性表现出较小的此类偏倚。
引用
@article{arxiv.2310.17951,
title = {Understanding Parameter Saliency via Extreme Value Theory},
author = {Shuo Wang and Issei Sato},
journal= {arXiv preprint arXiv:2310.17951},
year = {2023}
}