MoLo：用于少样本动作识别的运动增强长短对比学习
计算机视觉与模式识别
2023-04-04 v1
摘要
当前最先进的少样本动作识别方法通过对学习到的视觉特征进行帧级匹配取得了令人满意的性能。然而，它们通常存在两个局限：i）由于缺乏迫使长程时间感知的引导，局部帧之间的匹配过程往往不准确；ii）通常忽略了显式运动学习，导致信息部分丢失。为解决这些问题，我们提出了一种运动增强长短对比学习（MoLo）方法，其包含两个关键组件：长短对比目标与运动自解码器。具体而言，长短对比目标旨在通过最大化局部帧特征与同类视频全局令牌之间的一致性，赋予局部帧特征长形式的时间感知能力。运动自解码器是一种轻量架构，用于从差分特征中重建像素运动，从而将运动动态显式嵌入网络。借此，MoLo可同时学习长程时间上下文与运动线索，以实现全面的少样本匹配。为验证有效性，我们在五个标准基准上评估了MoLo，结果表明MoLo优于近期先进方法。源代码见 https://github.com/alibaba-mmai-research/MoLo。
引用
@article{arxiv.2304.00946,
title = {MoLo: Motion-augmented Long-short Contrastive Learning for Few-shot Action Recognition},
author = {Xiang Wang and Shiwei Zhang and Zhiwu Qing and Changxin Gao and Yingya Zhang and Deli Zhao and Nong Sang},
journal= {arXiv preprint arXiv:2304.00946},
year = {2023}
}
备注
Accepted by CVPR-2023. Code: https://github.com/alibaba-mmai-research/MoLo