以图引导混合匹配提升少样本动作识别
计算机视觉与模式识别
2023-08-21 v1
摘要
类原型构建与匹配是少样本动作识别的核心方面。以往方法主要关注设计时空关系建模模块或复杂的时间对齐算法。尽管结果可观，它们忽视了类原型构建与匹配的价值，导致在每项任务中识别相似类别时性能不尽如人意。本文中，我们提出 GgHM，一种具有图引导混合匹配的新框架。具体而言，我们在类原型构建期间通过图神经网络的引导学习任务导向特征，显式优化类内与类间特征关联。接下来，我们设计一种混合匹配策略，结合帧级与元组级匹配以对具有多元风格的视频分类。我们还额外提出一个可学习密集时间建模模块，以增强视频特征的时间表示，为匹配过程奠定更坚实基础。GgHM 在多个少样本数据集上相较其他具挑战性的基线表现出一致提升，证明了我们方法的有效性。代码将公开于 https://github.com/jiazheng-xing/GgHM。
引用
@article{arxiv.2308.09346,
title = {Boosting Few-shot Action Recognition with Graph-guided Hybrid Matching},
author = {Jiazheng Xing and Mengmeng Wang and Yudi Ruan and Bofan Chen and Yaowei Guo and Boyu Mu and Guang Dai and Jingdong Wang and Yong Liu},
journal= {arXiv preprint arXiv:2308.09346},
year = {2023}
}
备注
Accepted by ICCV2023