基于 CNN 的活动识别中物体与文本引导的语义
计算机视觉与模式识别
2018-05-07 v1
摘要
许多先前的方法已证明考虑语义相关物体对于基于视频的人体活动识别的重要性，然而尚无方法利用大型文本语料库将物体与活动相关联并迁移至学习一个统一的深度卷积神经网络。我们提出了一种新颖的活动识别 CNN，它以端到端多任务学习方案协同学习物体识别任务，以改善基线活动识别性能。我们进一步通过利用文本引导语义空间来选择相对于目标活动最相关的物体，从而改进多任务学习方法。据我们所知，我们是首个研究该方法的工作。
引用
@article{arxiv.1805.01818,
title = {Object and Text-guided Semantics for CNN-based Activity Recognition},
author = {Sungmin Eum and Christopher Reale and Heesung Kwon and Claire Bonial and Clare Voss},
journal= {arXiv preprint arXiv:1805.01818},
year = {2018}
}
备注
Submitted to ICIP 2018