REVEX：面向视频的基于移除的可解释人工智能统一框架
计算机视觉与模式识别
2024-11-13 v2
摘要
我们开发了 REVEX，一个基于移除的视频解释框架。本工作扩展了计算机视觉数据的细粒度解释框架，并通过添加时间信息和局部解释，将六种现有技术适配到视频领域。适配的方法在多个网络、数据集、图像类别和评估指标上进行了评估。通过将解释分解为步骤，揭示了所研究方法的优缺点，例如输入上的像素聚类和扰动。Video LIME 在删除值上比其他方法低 31%，插入值高 30%（取决于方法和网络）。Video RISE 在平均下降指标上表现优异，值低 10%。相比之下，基于定位的指标在所有方法上表现较低，且因网络而异。Pointing game 准确率达到 53%，基于 IoU 的指标低于 20%。基于跨 XAI 方法的发现，我们进一步检查了所用 XAI 评估指标的局限性，并强调了它们在不同应用中的适用性。
引用
@article{arxiv.2401.11796,
title = {REVEX: A Unified Framework for Removal-Based Explainable Artificial Intelligence in Video},
author = {F. Xavier Gaya-Morey and Jose M. Buades-Rubio and I. Scott MacKenzie and Cristina Manresa-Yee},
journal= {arXiv preprint arXiv:2401.11796},
year = {2024}
}