用于Ego4D长期动作预测的Video + CLIP基线

Srijan Das; Michael S. Ryoo

用于Ego4D长期动作预测的Video + CLIP基线

计算机视觉与模式识别 2022-07-04 v1 机器学习

作者: Srijan Das , Michael S. Ryoo

摘要

在本报告中，我们介绍将图像-文本模型适配用于长期动作预测的方法。我们的Video + CLIP框架利用了大规模预训练的配对图像-文本模型：CLIP以及视频编码器Slowfast网络。CLIP嵌入提供了与动作相关的物体的细粒度理解，而slowfast网络负责对少数帧的视频片段内的时间信息进行建模。我们表明，来自两个编码器的特征是互补的，从而在Ego4D的长期动作预测任务上优于基线。我们的代码可在github.com/srijandas07/clip_baseline_LTA_Ego4d获取。

关键词

长期动作预测图像-文本模型 CLIP Slowfast网络 Ego4D 视频编码特征融合

引用

@article{arxiv.2207.00579,
  title  = {Video + CLIP Baseline for Ego4D Long-term Action Anticipation},
  author = {Srijan Das and Michael S. Ryoo},
  journal= {arXiv preprint arXiv:2207.00579},
  year   = {2022}
}

备注

Secured second position in the Ego4D Challenge for Long-Term Action Anticipation track at CVPR 2022

相关论文

查看更多相关论文 →