用于动作识别的深度流形到流形变换网络
计算机视觉与模式识别
2017-10-03 v3
摘要
对称正定（SPD）矩阵（例如协方差矩阵、图拉普拉斯矩阵等）被广泛用于建模空间或时间域的关系。然而，SPD矩阵在理论上嵌入在黎曼流形上。在本文中，我们提出了一种端到端的深度流形到流形变换网络（DMT-Net），它可以使SPD矩阵从一个黎曼流形流动到另一个更具判别力的流形。为了学习表征时空依赖性的判别性SPD特征，我们专门在流形上开发了三个新颖的层：(i) 局部SPD卷积层，(ii) 非线性SPD激活层，以及 (iii) 黎曼保持的递归层。SPD特性在所有层中得以保持，无需任何奇异值分解（SVD），而现有方法中常使用SVD且计算代价高昂。此外，还设计了一个对角化SPD层，以高效计算用于分类任务的最终度量。为评估我们提出的方法，我们在动作识别任务上进行了广泛实验，其中输入信号通常被建模为SPD矩阵。实验结果表明，我们的DMT-Net相比现有最优方法具有更强的竞争力。
引用
@article{arxiv.1705.10732,
title = {Deep manifold-to-manifold transforming network for action recognition},
author = {Tong Zhang and Wenming Zheng and Zhen Cui and Chaolong Li},
journal= {arXiv preprint arXiv:1705.10732},
year = {2017}
}