TARN:用于少样本与零样本动作识别的时间注意力关系网络
计算机视觉与模式识别
2019-07-23 v1
摘要
本文中我们提出一种新颖的时间注意力关系网络(TARN),用于少样本和零样本动作识别问题。我们网络的核心是一种元学习方法,学习比较变长时序的表征,即 either 两个不同长度的视频(少样本动作识别情形)or 一个视频与诸如词向量的语义表征(零样本动作识别情形)。与其他少样本和零样本动作识别工作相比,我们 a) 利用注意力机制进行时间对齐,且 b) 在视频片段层面对齐表征上学习深度距离度量。我们采用基于片段的训练方案并以端到端方式训练网络。所提方法不需要在目标域微调或如记忆网络那样维持额外表征。实验结果表明,所提架构在少样本动作识别上优于当前最优(SOTA),并在零样本动作识别上取得有竞争力的结果。
引用
@article{arxiv.1907.09021,
title = {TARN: Temporal Attentive Relation Network for Few-Shot and Zero-Shot Action Recognition},
author = {Mina Bishay and Georgios Zoumpourlis and Ioannis Patras},
journal= {arXiv preprint arXiv:1907.09021},
year = {2019}
}
备注
14 pages, IEEE Transactions on Affective Computing