面向少样本动作识别的层次化组合表示
计算机视觉与模式识别
2024-01-22 v3
摘要
近年来，动作识别因在智能监控与人机交互中的广泛实用应用而受到越来越多的关注。然而，由于数据稀缺，少样本动作识别尚未得到充分探索且仍具挑战性。本文提出一种新颖的层次化组合表示（HCR）学习方法用于少样本动作识别。具体而言，我们通过精心设计的层次聚类将复杂动作划分为若干子动作，并进一步将子动作分解为更细粒度的空间注意力子动作（SAS-actions）。尽管基类和 novel 类之间存在较大差异，它们可在子动作或 SAS-actions 中共享相似模式。此外，我们采用运输问题中的 Earth Mover's Distance 来基于子动作表示度量视频样本间的相似性。它计算子动作之间的最优匹配流作为距离度量，有利于比较细粒度模式。大量实验表明，我们的方法在 HMDB51、UCF101 和 Kinetics 数据集上取得了最先进（SOTA）结果。
引用
@article{arxiv.2208.09424,
title = {Hierarchical Compositional Representations for Few-shot Action Recognition},
author = {Changzhen Li and Jie Zhang and Shuzhe Wu and Xin Jin and Shiguang Shan},
journal= {arXiv preprint arXiv:2208.09424},
year = {2024}
}
备注
Accepted by Computer Vision and Image Understanding