基于属性的多标签少样本动作识别的自适应原型模型
计算机视觉与模式识别
2025-02-19 v1
摘要
在现实世界的动作识别系统中，纳入更多属性有助于更全面地理解人类行为。然而，使用单个模型同时识别多个属性会导致准确率下降。在本工作中，我们提出了一种新方法，即自适应属性原型模型 (AAPM)，用于人类动作识别，该模型捕获丰富的与动作相关的属性信息，并在准确率和鲁棒性之间取得平衡。首先，我们引入文本约束模块 (TCM)，用于纳入潜在标签的文本信息，并约束构建不同的属性原型表示。在此基础上，我们探索了属性分配方法 (AAM)，以解决训练偏差问题并提高训练过程中的鲁棒性。进一步地，我们构建了一个以基于属性的多标签为评估标准的新视频数据集，称为 Multi-Kinetics，包含与人类行为相关的各种属性标签（如动作、场景、物体等）。广泛的实验表明，我们的 AAPM 在基于属性的多标签少样本动作识别和单标签少样本动作识别方面均实现了最新的 state-of-the-art 性能。项目和数据集均可在匿名账户 https://github.com/theAAPM/AAPM 访问。
引用
@article{arxiv.2502.12582,
title = {Adaptive Prototype Model for Attribute-based Multi-label Few-shot Action Recognition},
author = {Juefeng Xiao and Tianqi Xiang and Zhigang Tu},
journal= {arXiv preprint arXiv:2502.12582},
year = {2025}
}