训练、诊断与修正：细粒度动作识别的可解释方法
计算机视觉与模式识别
2017-11-27 v1
摘要
尽管现代深度学习识别方法具有日益增长的判别能力，但最先进模型的内在机制仍大多是黑箱。本文中，我们对残差时间卷积网络(Res-TCN)在时间序列数据动作识别中的模型参数与隐藏表示进行系统性解释，并提出特征图解码器作为解释分析的一部分，将模型隐藏变量表示在与输入相同的域中输出。此类分析使我们能以可解释方式揭示模型的特征学习模式。例如，通过诊断分析，我们发现模型通过隐式学习将输入旋转归一化至更具判别性的视角，从而学会实现视角不变性。基于模型解释分析的发现，我们提出一种可推广至多种其他识别模型的针对性精炼技术。所提工作引入了模型学习的三阶段范式：训练、可解释诊断与针对性精炼。我们在基于骨架的NTU RGB+D三维人体动作识别基准上验证该方法。结果表明所提流程是一种有效的模型学习策略，所得多流残差时间卷积网络(MS-Res-TCN)在NTU RGB+D上取得了最先进的性能。
引用
@article{arxiv.1711.08502,
title = {Train, Diagnose and Fix: Interpretable Approach for Fine-grained Action Recognition},
author = {Jingxuan Hou and Tae Soo Kim and Austin Reiter},
journal= {arXiv preprint arXiv:1711.08502},
year = {2017}
}
备注
8 pages, 8 figures, CVPR18 submission