解释视频深度学习模型中用于活动识别的运动相关性
机器学习
2020-04-02 v1 人机交互
图像与视频处理
机器学习
摘要
最初为图像识别模型开发的一小部分可解释性技术，近来被应用于活动识别任务中3D卷积神经网络模型的可解释性。正如模型本身一样，这些技术几乎不需修改即可兼容3D输入。然而，这些解释技术将空间与时间信息联合看待。因此，使用此类解释技术，用户无法明确区分运动在3D模型决策中的作用。事实上，已有研究表明这些模型并未将运动信息恰当地纳入其决策。我们提出一种选择性相关性方法，用于调整2D解释技术以提供运动特异性解释，使其更好地与人类将运动概念上独立于静态空间特征的理解相对齐。我们展示了该方法与几种广泛使用的2D解释方法结合的有效性，并表明其提升了对运动的解释选择性。我们的结果表明，选择性相关性方法不仅能提供模型决策中运动所起作用的认识——实际上揭示并量化了模型的空间偏置——而且该方法也简化了所得解释以供人理解。
引用
@article{arxiv.2003.14285,
title = {Explaining Motion Relevance for Activity Recognition in Video Deep Learning Models},
author = {Liam Hiley and Alun Preece and Yulia Hicks and Supriyo Chakraborty and Prudhvi Gurram and Richard Tomsett},
journal= {arXiv preprint arXiv:2003.14285},
year = {2020}
}