Task-Adapter：面向少样本动作识别的任务特定适配
计算机视觉与模式识别
2024-08-02 v1
摘要
现有少样本动作识别方法大多针对预训练图像模型进行微调，并在特征层设计复杂的时序对齐模块。然而，仅对预训练模型进行完全微调可能因视频样本稀缺而导致过拟合。此外，我们认为仅依靠提取的抽象特征不足以充分探索任务特定信息。在本工作中，我们提出一种简单而有效的任务特定适应方法（Task-Adapter），用于少样本动作识别。通过在主干网络的后几层引入 Task-Adapter 且保持原始预训练模型参数冻结，我们缓解了完全微调导致的过拟合问题，并将任务特定机制引入特征提取过程。每个 Task-Adapter 中，我们复用冻结的自注意力层，在给定任务的不同视频之间进行任务特定自注意力，以捕获类别间差异信息和类别内共享信息，这有助于任务特定适应并增强查询特征与支持原型之间的度量测量。实验结果在四个标准少样本动作识别数据集上均证明了我们提出的 Task-Adapter 的有效性。尤其在时间上具有挑战性的 SSv2 数据集上，我们的方法比当前最先进的方法表现出显著优势。
引用
@article{arxiv.2408.00249,
title = {Task-Adapter: Task-specific Adaptation of Image Models for Few-shot Action Recognition},
author = {Congqi Cao and Yueran Zhang and Yating Yu and Qinyi Lv and Lingtong Min and Yanning Zhang},
journal= {arXiv preprint arXiv:2408.00249},
year = {2024}
}
备注
Accepted by ACM MM2024