用于基于双流的动作识别方法的门控卷积网络学习
计算机视觉与模式识别
2017-09-14 v2
摘要
对于动作识别中的双流风格方法，融合两流预测通常采用加权平均方案。这种固定权重的融合方法缺乏针对不同动作视频的针对性，且需要在验证集上反复试错。为了增强双流卷积网络的适应性并提升其性能，本文基于MoE（专家混合）理论，提出了一种用于双流卷积网络的可端到端训练的门控融合方法，即门控卷积网络（gating ConvNet）。门控卷积网络以空间网络和时间网络同一层的特征图组合作为输入，并采用ReLU（修正线性单元）作为门控输出激活函数。为减少由参数冗余引起的门控卷积网络过拟合，设计了一种新的多任务学习方法，联合学习两流的门控融合权重和学习用于动作分类的门控卷积网络。借助我们的门控融合方法和多任务学习策略，在UCF101数据集上取得了94.5%的高准确率。
引用
@article{arxiv.1709.03655,
title = {Learning Gating ConvNet for Two-Stream based Methods in Action Recognition},
author = {Jiagang Zhu and Wei Zou and Zheng Zhu},
journal= {arXiv preprint arXiv:1709.03655},
year = {2017}
}
备注
8 pages, 4 figures