用于视频分类的损失切换融合与相似性搜索

从视频流到安全监控应用，视频数据在我们当今的日常生活中扮演着重要角色。然而，管理大量的视频数据并为用户检索最有用的信息仍然是一项具有挑战性的任务。在本文中，我们提出了一种新颖的视频分类系统，该系统将有益于场景理解任务。我们将分类问题定义为使用相同的特征表示对室外场景的背景和前景运动进行分类。这意味着特征表示需要足够鲁棒并能适应不同的分类任务。我们提出了一种轻量级的损失切换融合网络（LSFNet）用于时空描述符的融合，以及一种带有软投票的相似性搜索方案来提升分类性能。所提出的系统具有多种潜在应用，例如基于内容的视频聚类、视频过滤等。在两个私有行业数据集上的评估结果表明，我们的系统在分类不同的背景运动以及从这些背景运动中检测人体运动方面都是鲁棒的。