AI中的不确定性：在分布外图像上评估深度神经网络
计算机视觉与模式识别
2023-09-06 v1
摘要
随着AI模型日益部署于关键应用中，确保模型在暴露于异常情形（如分布外（OOD）或受扰动数据）时性能的一致性是重要的。因此，本文研究了包括ResNet-50、VGG16、DenseNet121、AlexNet和GoogleNet在内的各种深度神经网络在处理此类数据时的不确定性。我们的方法包含三个实验。首先，我们使用预训练模型对通过DALL-E生成的OOD图像进行分类以评估其性能。其次，我们利用概率平均从模型预测构建集成以达成共识，因其优于少数或多数的投票方式。集成的不确定性通过平均概率、方差和熵度量进行量化。我们的结果表明，虽然ResNet-50是OOD图像上最准确的单一模型，但集成表现更佳，正确分类了所有图像。第三，我们通过向来自DALL-E的新认知图像或真实世界捕获添加扰动（滤波器、旋转等）来测试模型鲁棒性。ResNet-50因其最佳性能表现被选中。虽然它正确分类了5张未扰动图像中的4张，但在扰动后全部误分类，表明存在显著脆弱性。这些人类观察者一目了然的误分类凸显了AI模型的局限性。利用显著图，我们识别了模型在其决策中所认为重要的图像区域。
引用
@article{arxiv.2309.01850,
title = {Uncertainty in AI: Evaluating Deep Neural Networks on Out-of-Distribution Images},
author = {Jamiu Idowu and Ahmed Almasoud},
journal= {arXiv preprint arXiv:2309.01850},
year = {2023}
}