利用特权信息学习用于零样本动作识别
计算机视觉与模式识别
2022-06-23 v2
摘要
零样本动作识别（ZSAR）旨在识别训练期间从未见过的视频动作。大多数现有方法假设可见与不可见动作之间存在共享语义空间，并意图直接学习从视觉空间到语义空间的映射。该方法受到视觉空间与语义空间之间语义鸿沟的挑战。本文提出一种新方法，使用对象语义作为特权信息以缩小语义鸿沟，从而有效地辅助学习。具体地，提出一个简单的幻觉网络以在测试期间隐式提取对象语义而无需显式提取对象，并开发一种交叉注意力模块以用对象语义增强视觉特征。在 Olympic Sports、HMDB51 和 UCF101 数据集上的实验表明，所提方法大幅优于最先进（state-of-the-art）方法。
引用
@article{arxiv.2206.08632,
title = {Learning Using Privileged Information for Zero-Shot Action Recognition},
author = {Zhiyi Gao and Yonghong Hou and Wanqing Li and Zihui Guo and Bin Yu},
journal= {arXiv preprint arXiv:2206.08632},
year = {2022}
}