用于动作识别的双流自监督学习
计算机视觉与模式识别
2018-06-20 v1
摘要
我们提出一种利用视频帧间时空信号进行动作识别的自监督方法。采用双流架构将空间与时间表征学习相纠缠。我们的任务被构建为序列验证与时空对齐两项任务。前者任务需要理解运动的时间结构，而后者将学到的运动与空间表征相耦合。自监督预训练权重的的有效性在动作识别任务上得到验证。定量评估显示了该自监督方法在三个数据集上的能力：HMDB51、UCF101 与 Honda 驾驶数据集（HDD）。仍需进一步研究以提升性能并推广有效性。
引用
@article{arxiv.1806.07383,
title = {Two Stream Self-Supervised Learning for Action Recognition},
author = {Ahmed Taha and Moustafa Meshry and Xitong Yang and Yi-Ting Chen and Larry Davis},
journal= {arXiv preprint arXiv:1806.07383},
year = {2018}
}