基于知识图谱的端到端视频分类

视频理解已吸引大量研究关注，尤其自大规模视频基准近期可用以来。本文中，我们处理多标签视频分类问题。我们首先观察到机器与人类学习之间存在显著的知识鸿沟。即，尽管当前机器学习方法（包括深度神经网络）很大程度上聚焦于给定数据的表示，人类常超越手头数据并利用外部知识以做出更好决策。为缩小该鸿沟，我们提出将外部知识图谱引入视频分类。特别地，我们将传统的“无知识”机器学习模型与知识图谱统一于新颖的端到端框架中。该框架可灵活地与大多数现有视频分类算法（包括最先进的深度模型）协同工作。最后，我们在最大的公开视频数据集YouTube-8M上进行了广泛实验。结果全面向好，平均精度均值提升达2.9%。