用于评估真实零样本动作识别的新划分
计算机视觉与模式识别
2021-09-14 v2
摘要
零样本动作识别是对训练集中不可用的动作类别进行分类的任务。在此设定下，标准评估协议是使用现有的动作识别数据集（例如 UCF101）并将类别随机划分为可见与不可见。然而，近期多数工作基于在 Kinetics 数据集上预训练的表示，其中类别与零样本评估数据集中的类别大量重叠。结果，本应不可见的类别在监督预训练期间出现，违背了零样本设定的条件。类似的担忧几年前曾在基于图像的零样本识别中被指出，但未被零样本动作识别领域所考虑。本文中，我们提出一种用于真实零样本动作识别的新划分，其不可见测试类别与训练或预训练类别无重叠。我们在所提出的 UCF101 与 HMDB51 的 True Zero-Shot（TruZe）划分上，以零样本与广义零样本评估对若干近期方法进行基准测试。在我们广泛的分析中，我们发现 TruZe 划分比可比较的随机划分显著更难，因为预训练未泄露任何信息，即不可见性能一致更低，零样本动作识别最高低 8.9%。在一项附加评估中，我们还发现少样本动作识别所用划分中存在类似问题，此处我们看到最高 17.1% 的差异。我们发布了我们的划分，并希望我们的基准分析将改变该领域今后评估零样本与少样本动作识别的方式。
引用
@article{arxiv.2107.13029,
title = {A New Split for Evaluating True Zero-Shot Action Recognition},
author = {Shreyank N Gowda and Laura Sevilla-Lara and Kiyoon Kim and Frank Keller and Marcus Rohrbach},
journal= {arXiv preprint arXiv:2107.13029},
year = {2021}
}
备注
Accepted to GCPR 2021