面向少样本动作识别的任务特定距离相关匹配

少样本动作识别（FSAR）近期通过集合匹配和大规模预训练模型的高效适应取得了显著进展。然而，两个关键限制仍然存在。第一，现有的集合匹配度量通常依赖余弦相似度来衡量帧间线性依赖关系，然后仅利用实例级信息进行匹配，因此无法捕捉更复杂的模式（如非线性关系），并忽略了任务特定的线索。第二，为实现CLIP对FSAR的高效适应，近期工作通过跳跃融合层（我们称之为侧层）进行微调，显著降低了内存成本。然而，新引入的侧层在数据有限的条件下往往难以优化。为解决这些限制，我们提出了TS-FSAR框架，包含三个组件：（1）用于高效CLIP微调的视觉阶梯侧网络（LSN）；（2）一种称为任务特定距离相关匹配（TS-DCM）的度量，它使用 $\alpha$-距离相关来建模帧间的线性和非线性依赖关系，并利用任务原型实现任务特定的匹配；（3）适配CLIP引导的LSN（GLAC）模块，该模块利用适配的冻结CLIP对LSN进行正则化，以在有限监督下改进训练，获得更好的 $\alpha$-距离相关估计。在五个广泛使用的基准上的大量实验表明，我们的TS-FSAR优于先前的最先进方法。