基于视觉语言模型的神经网络调试与运行时分析（案例研究）
软件工程
2025-03-25 v1 人工智能
机器学习
摘要
深度神经网络（DNN）的调试尤其是视觉模型，由于网络中复杂且不透明的决策过程，备受挑战。本文探索了多模态视觉语言模型（如 CLIP），用于使用自然语言自动解释视觉模型的不可见表征空间，从而实现基于人类可理解概念的语义分析，而无需昂贵的人工标注。我们提出的关键方法是语义热力图，它简洁地捕捉了 DNN 在概念层面的统计特性，可离线计算。我们展示了语义热力图在故障定位中的实用性——这是调试中的关键步骤。我们的技术帮助定位网络中的故障（编码器 vs 头部），并通过利用新型差分热力图概括分析 DNN 正确与错误行为之间的语义差异，指示负责的高层概念。我们进一步提出了轻量级运行时分析，以检测并过滤运行时缺陷，从而提高所分析 DNN 的可靠性。该运行时分析通过测量并比较针对新（未见）输入计算的热力图与先前针对正确与错误 DNN 行为计算的热力图之间的相似性。我们考虑两种缺陷类型：误分类和对对抗性攻击的脆弱性。我们在一个基于 ResNet 的复杂分类器（在 RIVAL10 数据集上训练）的案例研究中演示了调试和运行时分析。
引用
@article{arxiv.2503.17416,
title = {Debugging and Runtime Analysis of Neural Networks with VLMs (A Case Study)},
author = {Boyue Caroline Hu and Divya Gopinath and Corina S. Pasareanu and Nina Narodytska and Ravi Mangal and Susmit Jha},
journal= {arXiv preprint arXiv:2503.17416},
year = {2025}
}
备注
CAIN 2025 (4th International Conference on AI Engineering -- Software Engineering for AI)