DeltaNN：评估计算环境参数对图像识别模型性能的影响

图像识别任务通常使用深度学习并需要巨大的处理能力，因此依赖 GPU 和 TPU 等硬件加速器来实现快速、及时的 processing。实时图像识别任务中的失败可能源于模型部署期间在硬件加速器上的次优映射，这可能导致时序不确定性和错误行为。在硬件加速器上的映射是通过深度学习框架、编译器和设备库等多个软件组件完成的，我们将其称为计算环境。由于图像识别任务在自动驾驶和医学影像等安全关键应用中的使用日益增加，必须评估其对计算环境变化的鲁棒性，因为深度学习框架、编译器优化和硬件设备等参数对模型性能和正确性的影响尚不为人所充分了解。在本文中，我们提出了一个差分测试框架 DeltaNN，使我们能够在训练后部署期间评估不同计算环境参数对图像识别模型性能的影响。DeltaNN 针对环境参数（即深度学习框架、编译器优化和硬件设备）的变化生成给定图像识别模型的不同实现，并分析由此产生的模型性能差异。使用 DeltaNN，我们利用 ImageNet 数据集对三个流行的图像识别模型进行了鲁棒性分析的实证研究。我们报告了在不同设置下误分类和推理时间差异方面的影响。总体而言，我们观察到跨深度学习框架的输出标签差异高达 100%，在应用编译器优化时推理时间方面出现高达 81% 的意外性能下降。