用于判别性动作表示的协作跨流网络
计算机视觉与模式识别
2019-08-28 v1
摘要
空间流与时间流模型在视频动作识别中取得了巨大成功。大多数现有工作更关注设计有效的特征融合方法，并以分离方式训练双流模型。然而，现有工作难以保证判别性并探索不同流之间的互补信息。在本工作中，我们提出了一种新颖的协作跨流网络，研究多种不同模态中的关联信息。联合的空间与时间流网络特征提取以端到端学习方式完成。它从连接块中提取不同模态的互补信息，旨在探索不同流特征之间的相关性。此外，不同于仅用单一交叉熵损失学习深度可分特征的常规 ConvNet，我们提出的模型通过联合优化模态排序约束和针对同质与异质模态的交叉熵损失，增强了深度习得特征的判别力并减小了不期望的模态差异。模态排序约束由模态内判别嵌入与模态间三元组约束构成，其减小了模态内与跨模态的特征变化。在三个基准数据集上的实验表明，通过协作外观与运动特征提取，与现有结果相比，我们的方法能达到最先进（state-of-the-art）或有竞争力的性能。
引用
@article{arxiv.1908.10136,
title = {Cooperative Cross-Stream Network for Discriminative Action Representation},
author = {Jingran Zhang and Fumin Shen and Xing Xu and Heng Tao Shen},
journal= {arXiv preprint arXiv:1908.10136},
year = {2019}
}
备注
10 pages, 6 figures