面向动作识别的知识图谱全解析
计算机视觉与模式识别
2020-08-31 v1
摘要
当前的动作识别系统需要大量训练数据来识别一个动作。近期工作探索了零样本和小样本学习的范式，以学习未见类别或少量标签类别的分类器。遵循物体识别中的类似范式，这些方法利用外部知识源（例如来自语言领域的知识图谱）。然而，与物体不同，尚不清楚什么是动作的最佳知识表示。在本文中，我们旨在更好地理解可用于零样本和小样本动作识别的知识图谱（KGs）。具体而言，我们研究了三种不同的知识图谱构建机制：动作嵌入、动作-物体嵌入、视觉嵌入。我们针对不同的知识图谱在不同实验设置下的影响进行了广泛分析。最后，为了支持对零样本和小样本方法的系统性研究，我们提出了一种基于 UCF101、HMDB51 和 Charades 数据集的改进评估范式，用于从在 Kinetics 上训练的模型进行知识迁移。
引用
@article{arxiv.2008.12432,
title = {All About Knowledge Graphs for Actions},
author = {Pallabi Ghosh and Nirat Saini and Larry S. Davis and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2008.12432},
year = {2020}
}