EPIC-Kitchens 数据集中面向动作识别的序列驱动时间采样与自我运动补偿的前瞻性研究
计算机视觉与模式识别
2020-08-27 v1
摘要
动作识别目前是计算机视觉中最具挑战性的研究领域之一。卷积神经网络（CNNs）显著提升了其性能，但依赖于固定大小的时空分析窗口，缩减了 CNN 的时间感受野。在动作识别数据集中，自我中心记录的序列已变得十分重要，同时也带来了一个额外挑战：自我运动不可避免地传递至这些序列中。所提方法旨在通过估计该自我运动或相机运动来应对此问题。该估计用于将视频序列在时间上划分为运动补偿的时间块（chunk），在稳定背景下展示动作，并允许进行内容驱动的时间采样。一个以端到端方式训练的 CNN 用于从每个块（chunk）中提取时间特征，并进行后融合。该过程可从动作的整个时间范围提取特征，增加了网络的时间感受野。
引用
@article{arxiv.2008.11588,
title = {A Prospective Study on Sequence-Driven Temporal Sampling and Ego-Motion Compensation for Action Recognition in the EPIC-Kitchens Dataset},
author = {Alejandro López-Cifuentes and Marcos Escudero-Viñolo and Jesús Bescós},
journal= {arXiv preprint arXiv:2008.11588},
year = {2020}
}
备注
Paper accepted at CVPR 2020 EPIC Kitchens Workshop