基于多连体嵌入学习的极低分辨率活动识别

本文提出一种从极低分辨率（如16x12）视频中识别人体活动的方法。极低分辨率识别不仅对于分析远距离动作是必要的，而且对于实现保护隐私的人体活动识别至关重要。我们设计了一种新的双流多连体卷积神经网络。其思想是显式捕捉低分辨率(LR)视频的固有属性，即源自完全相同场景的两幅图像由于其LR变换往往具有完全不同的像素值。我们的方法学习共享嵌入空间，将具有相同内容的LR视频映射到相同位置，而不管其变换如何。我们通过实验证实，我们联合学习这种变换鲁棒的LR视频表示和分类器的方法，在两个公共标准数据集上以显著优势优于先前最先进的低分辨率识别方法。