用于跨视角动作识别的分层学习视角不变表示

由于不同视角下外观差异巨大，从多变视角中识别人体动作具有挑战性。该问题的关键在于学习在不同视角间泛化良好的判别性视角不变表示。本文通过分层学习视角不变表示来解决此问题，采用一种称为联合稀疏表示与分布自适应（JSRDA）的新方法。为获得鲁棒且具信息量的特征表示，我们首先将样本亲和矩阵引入边缘化栈式去噪自编码器（mSDA）以得到共享特征，再将其与私有特征结合。为使跨视角视频的特征表示可迁移，我们随后从不同视角拍摄的视频对中同时学习一对可迁移字典，以促使跨视角的每个动作视频具有相同的稀疏表示。然而，当视角差异较大时，由于使一个动作跨视角的稀疏表示相同的统一子空间可能不存在，跨视角的分布差异依然存在。因此，我们提出一种新颖的无监督分布自适应方法，学习一组投影将源视角和目标视角数据投影到各自的低维子空间，在这些子空间中边际与条件分布差异被同时减小。从而，最终学到的特征表示是视角不变的且对跨视角显著分布差异具有鲁棒性，即便视角差异很大。在四个多视角数据集上的实验结果表明，我们的方法优于当前最优方法。