面向第一视角交互识别的深度双重关系建模
计算机视觉与模式识别
2019-06-03 v1
摘要
第一视角交互识别旨在识别第一视角视频中佩戴摄像头者与面对佩戴者的交互者之间的交互行为。在此类人人交互分析问题中,探索摄像头佩戴者与交互者之间的关系至关重要。然而,大多数现有工作直接将交互作为一个整体建模,缺乏对两个交互个体之间关系的建模。为利用强关系进行第一视角交互识别,我们提出了一种双重关系建模框架,该框架基于两个个体的动作表征来学习建模摄像头佩戴者与交互者之间的关系。具体而言,我们设计了一种新颖的交互式 LSTM 模块——我们框架的关键组件——以基于两个交互个体的个体动作表征显式建模二者关系,这些表征通过交互者注意力模块与全局-局部运动模块协同学习。在三个第一视角交互数据集上的实验结果表明了我们的方法的有效性以及相对于当前最优方法的优势。
引用
@article{arxiv.1905.13586,
title = {Deep Dual Relation Modeling for Egocentric Interaction Recognition},
author = {Haoxin Li and Yijun Cai and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:1905.13586},
year = {2019}
}