一种用于第一人称与第三人称动作识别的统一方法

本文提出一种新的视频分类方法，可应用于第一人称与第三人称视频。所提策略背后的主要思想是通过在视频上执行两个独立的流来高效捕获外观与运动的互补信息。第一流旨在通过跟踪光流图像中元素随时间的变化，从较短运动中捕获长期运动。光流图像由在大规模图像数据集上预训练的网络来描述。通过将描述对齐并列获得一组多通道时间序列。由于若干优势，从这些时间序列中提取运动特征采用了 PoT 表示方法加之一种新颖的池化算子。第二流用于提取对视频分类至关重要外观特征。所提方法已在第一与第三人称数据集上评估，结果表明该方法成功达到了 SOTA。