面向视频动作识别的层次化解释方法
计算机视觉与模式识别
2023-04-05 v3 人工智能
机器学习
摘要
为解释深度神经网络，一种主要方法是对视觉输入进行剖析，找出负责分类的原型部件。然而，现有方法常忽略这些原型之间的层次关系，因而无法在较高层（如水上运动）和较低层（如游泳）语义概念上给出解释。本文受人类认知系统启发，利用层次化信息处理不确定性：当我们观察到水与人类活动，但无确定动作时，可将其识别为水上运动父类；仅当观察到人在游泳时，才能明确细化到游泳动作。为此，我们提出层次化原型解释器（HIPE）来构建原型与类别间的层次关系。HIPE通过在类别层次结构的多个层级上剖析输入视频帧，实现视频动作分类的推理过程，我们的方法也适用于其他视频任务。在ActivityNet和UCF-101上，我们的方法通过降低准确性-可解释性权衡并提供多层次解释，验证了其忠实性。
引用
@article{arxiv.2301.00436,
title = {Hierarchical Explanations for Video Action Recognition},
author = {Sadaf Gulshad and Teng Long and Nanne van Noord},
journal= {arXiv preprint arXiv:2301.00436},
year = {2023}
}