基于Grad-CAM热图的测试自动化——视觉AI的MLOps未来管道段？
软件工程
2021-03-03 v1 计算机视觉与模式识别
摘要
机器学习（ML）是现代感知系统的基本组成部分。在过去十年中，使用训练深度神经网络进行计算机视觉的性能已超越先前基于精细特征工程的方法。然而，大型ML模型的不透明性对于诸如汽车领域等关键应用而言是重大障碍。作为补救，梯度加权类激活映射（Grad-CAM）被提出以提供模型内部的视觉解释。在本文中，我们展示了如何利用Grad-CAM热图来增强为行人地下通道训练的图像识别模型的可解释性。我们论证了这些热图如何支持符合欧盟可信AI七项关键要求。最后，我们提议将自动化热图分析作为MLOps流水线中的一个管道段。我们相信这样的构建模块可用于自动检测训练好的ML模型在测试图像中是否基于无效像素被激活，从而提示存在有偏模型。
引用
@article{arxiv.2103.01837,
title = {Test Automation with Grad-CAM Heatmaps -- A Future Pipe Segment in MLOps for Vision AI?},
author = {Markus Borg and Ronald Jabangwe and Simon Åberg and Arvid Ekblom and Ludwig Hedlund and August Lidfeldt},
journal= {arXiv preprint arXiv:2103.01837},
year = {2021}
}
备注
Accepted for publication in the Proc. of the 1st International Workshop on DevOps Testing for Cyber-Physical Systems