利用免训练测试时适应提升基于骨架的零样本动作识别
计算机视觉与模式识别
2025-12-15 v1 人工智能
摘要
我们引入了 Skeleton-Cache，这是首个用于基于骨架的零样本动作识别（SZAR）的免训练测试时适应框架，旨在提升模型在推理阶段对未见动作的泛化能力。Skeleton-Cache 将推理重新表述为在存储结构化骨架表示的非参数缓存上的轻量级检索过程，结合了全局与细粒度局部描述符。为了指导描述符级预测的融合，我们利用大型语言模型（LLM）的语义推理能力来分配特定类别的重要性权重。通过将这些结构化描述符与 LLM 引导的语义先验相集成，Skeleton-Cache 能够在无需任何额外训练或访问训练数据的情况下，动态适应未见动作。在 NTU RGB+D 60/120 和 PKU-MMD II 上的大量实验表明，在零样本和广义零样本设置下，Skeleton-Cache 均能持续提升各种 SZAR 骨干网络的性能。代码公开于 https://github.com/Alchemist0754/Skeleton-Cache。
引用
@article{arxiv.2512.11458,
title = {Boosting Skeleton-based Zero-Shot Action Recognition with Training-Free Test-Time Adaptation},
author = {Jingmin Zhu and Anqi Zhu and Hossein Rahmani and Jun Liu and Mohammed Bennamoun and Qiuhong Ke},
journal= {arXiv preprint arXiv:2512.11458},
year = {2025}
}