Correlation Net：用于动作识别的时空多模态深度学习
计算机视觉与模式识别
2019-12-17 v6
摘要
本文描述了一个捕获任意时间戳上多模态相关性的网络。所提方案作为多模态卷积神经网络（CNN）之上的互补扩展网络运行。深度CNN进行动作识别需要空间与时间流，但过拟合的降低与这两流的融合仍是开放问题。现有融合方法对两流取平均。这里我们提出一种带Shannon融合的关联网络，用于学习预训练CNN。长范围视频可能由任意时间上的时空相关性组成，可通过由简单全连接层形成关联网络来捕获。该方法被发现可补充现有网络融合方法。在多模态相关性重要性方面，通过在UCF-101与HMDB-51数据集上的对比实验得到验证。多模态相关性增强了视频识别结果的准确率。
引用
@article{arxiv.1807.08291,
title = {Correlation Net: Spatiotemporal multimodal deep learning for action recognition},
author = {Novanto Yudistira and Takio Kurita},
journal= {arXiv preprint arXiv:1807.08291},
year = {2019}
}