MVP-Shot：面向少样本动作识别的多速度渐进对齐框架
计算机视觉与模式识别
2025-03-06 v4
摘要
最近的少样本动作识别（FSAR）方法通常在学习到的判别特征上执行语义匹配，以实现良好的性能。然而，大多数FSAR方法专注于单尺度（如帧级、段级等）特征对齐，忽略了具有相同语义的人类动作可能以不同速度出现。为此，我们开发了一种新型的多速度渐进对齐（MVP-Shot）框架，用于在多速度水平上逐步学习和对齐语义相关的动作特征。具体而言，设计了一个多速度特征对齐（MVFA）模块，用于衡量来自支持视频和查询视频之间具有不同速度尺度的特征之间的相似性，然后以残差方式合并所有相似度得分。为避免多个速度特征偏离底层运动语义，我们提出的渐进语义定制互动（PSTI）模块通过在不同速度下的通道和时间域上进行特征交互，将速度定制的文本信息注入视频特征中。上述两个模块相互补偿，在少样本设置下实现更准确的查询样本预测。实验结果表明，我们的方法在多个标准少样本基准（即HMDB51、UCF101、Kinetics和SSv2-small）上超越了当前的状态方法。
引用
@article{arxiv.2405.02077,
title = {MVP-Shot: Multi-Velocity Progressive-Alignment Framework for Few-Shot Action Recognition},
author = {Hongyu Qu and Rui Yan and Xiangbo Shu and Hailiang Gao and Peng Huang and Guo-Sen Xie},
journal= {arXiv preprint arXiv:2405.02077},
year = {2025}
}
备注
Accepted to TMM 2025