基于对比学习的小样本动作识别双流联合匹配方法
计算机视觉与模式识别
2024-01-10 v1
摘要
尽管基于度量学习范式的小样本动作识别已取得显著成功，但未能解决以下问题：（1）动作关系建模不充分以及多模态信息利用不足；（2）处理不同长度和速度的视频匹配问题，以及视频子动作未对齐的视频匹配问题存在挑战。为解决这些问题，我们提出了一种基于对比学习的双流联合匹配方法（TSJM），该方法包含两个模块：多模态对比学习模块（MCL）和联合匹配模块（JMM）。MCL的目标是广泛探究模态间的互信息关系，从而彻底提取模态信息以增强动作关系的建模。JMM旨在同时解决上述视频匹配问题。所提方法的有效性在两个广泛使用的小样本动作识别数据集（即SSv2和Kinetics）上进行了评估。还进行了全面的消融实验以证实我们提出的方法的有效性。
引用
@article{arxiv.2401.04150,
title = {Two-stream joint matching method based on contrastive learning for few-shot action recognition},
author = {Long Deng and Ziqiang Li and Bingxin Zhou and Zhongming Chen and Ao Li and Yongxin Ge},
journal= {arXiv preprint arXiv:2401.04150},
year = {2024}
}