利用少量航拍训练样本进行无人机视频中的人体动作识别

无人机因其低成本与快速机动性，正在实现新型的人体动作监控。然而，由于需要大量训练用航拍人体动作视频，使用深度神经网络进行自动航拍动作识别十分困难。收集大量人体动作航拍视频成本高昂、耗时且困难。在本文中，我们探索两种替代数据源，以在仅有少量训练用航拍样本可用时改进航拍动作分类。作为第一数据源，我们求助于视频游戏。我们使用两个游戏引擎收集了大量航拍游戏动作视频。作为第二数据源，我们利用条件Wasserstein生成对抗网络（Generative Adversarial Network, GAN）从地面视频生成航拍特征。鉴于两种数据源均存在某些局限，例如游戏视频偏向于特定动作类别（打斗、射击等），且不易为所有动作类型生成具有良好判别力的GAN生成特征，我们需要将两个数据集源与少量可用真实航拍训练视频高效整合。为应对数据异构性这一挑战，我们提出使用分离式多任务学习框架。我们以交替方式将真实与游戏数据，或真实与GAN生成数据输入网络，从而获得改进的动作分类器。我们在两个航拍动作数据集上验证了所提方法，并证明当仅有少量真实航拍训练样本可用时，来自航拍游戏视频的特征以及由GAN生成的特征对于改进真实航拍视频中的动作识别极为有用。