用于少样本动作识别的复合原型匹配
计算机视觉与模式识别
2023-10-17 v6
摘要
少样本动作识别旨在仅使用少量带标签训练样本来识别新颖动作类别。在本工作中,我们提出一种新方法:首先将每段视频概括为由一组全局原型与一组聚焦原型构成的复合原型,然后基于这些原型比较视频相似度。每个全局原型被鼓励从整个视频中概括某一特定方面,例如动作的起始/演变。由于全局原型无明确标注,我们使用一组聚焦原型来关注视频中的特定时间戳。我们通过匹配支持视频与查询视频之间的复合原型来比较视频相似度。全局原型直接匹配以从同一视角比较视频,例如比较两段动作是否起始相似。对于聚焦原型,由于视频中动作具有多样的时间变化,我们采用二分匹配以允许比较具有不同时间位置与偏移的动作。实验表明,我们所提方法在多个基准上取得了最先进(SOTA)结果。
引用
@article{arxiv.2207.05515,
title = {Compound Prototype Matching for Few-shot Action Recognition},
author = {Yifei Huang and Lijin Yang and Yoichi Sato},
journal= {arXiv preprint arXiv:2207.05515},
year = {2023}
}
备注
ECCV 2022