帧序关系影响：面向少样本动作识别的时序序列感知模型
计算机视觉与模式识别
2024-08-23 v1
摘要
本文提出一种新型时序序列感知模型（TSAM），用于少样本动作识别（FSAR），该模型将序列感知适配器引入预训练框架，以整合空间信息和时序动态特征。与现有通过探索所有帧之间关系来捕获时序信息的微调方法不同，我们基于感知器的适配器持续捕获沿时间线的时序动态，这能够感知序关系的变化。为获得每个类别的判别性表征，我们扩展了从大型语言模型（LLM）派生的每个类别文本语料库，并通过整合上下文语义信息来丰富视觉原型。此外，我们引入一种不平衡最优传输策略，用于特征匹配，该策略缓解了与类别无关特征的影响，从而促进更有效的决策。在五个 FSAR 数据集上的实验结果表明，我们的方法以显著的优势超越了第二名的竞争者。
引用
@article{arxiv.2408.12475,
title = {Frame Order Matters: A Temporal Sequence-Aware Model for Few-Shot Action Recognition},
author = {Bozheng Li and Mushui Liu and Gaoang Wang and Yunlong Yu},
journal= {arXiv preprint arXiv:2408.12475},
year = {2024}
}
备注
9 pages, 6 figures