面向少样本动作识别的混合关系引导集合匹配方法
计算机视觉与模式识别
2022-04-29 v1
摘要
当前少样本动作识别方法通过情景训练学习各视频的判别性特征并设计多种时间对齐策略，取得了令人印象深刻的性能。然而，它们存在局限：(a) 学习个体特征而不考虑整个任务，可能丢失当前情景中最相关的信息；(b) 这些对齐策略在错位样本上可能失效。为克服这两点局限，我们提出一种新颖的混合关系引导集合匹配（Hybrid Relation guided Set Matching, HyRSM）方法，包含两关键组件：混合关系模块与集合匹配度量。混合关系模块旨在通过充分利用情景内及跨视频的关联来学习任务特定嵌入。基于任务特定特征，我们将查询与支持视频间距离度量重新表述为集合匹配问题，并进一步设计双向平均豪斯多夫度量以提升对错位样本的鲁棒性。由此，所提HyRSM在少样本设定下可高度信息丰富且灵活地预测查询类别。我们在六个具有挑战性的基准上评估HyRSM，实验结果显示其以显著优势超越当前最优方法。项目主页：https://hyrsm-cvpr2022.github.io/。
引用
@article{arxiv.2204.13423,
title = {Hybrid Relation Guided Set Matching for Few-shot Action Recognition},
author = {Xiang Wang and Shiwei Zhang and Zhiwu Qing and Mingqian Tang and Zhengrong Zuo and Changxin Gao and Rong Jin and Nong Sang},
journal= {arXiv preprint arXiv:2204.13423},
year = {2022}
}
备注
Accepted by CVPR-2022