基于注意力机制的高阶张量池化用于动作识别
计算机视觉与模式识别
2023-12-19 v4 机器学习
摘要
我们旨在捕获由神经网络构成的特征向量的高阶统计信息，并提出端到端的二阶及更高阶池化以形成张量描述子。由于聚合向量数量少以及突发现象（即某给定特征出现频率高于或低于统计期望），张量描述子需要一种稳健的相似度度量。图拉普拉斯上的热扩散过程（HDP）与协方差/自相关矩阵的特征值幂归一化（EPN）密切相关，而该矩阵的逆构成一个环形图拉普拉斯。我们表明 HDP 与 EPN 起着相同作用，即增强或抑制特征谱的幅值从而防止突发现象。我们为高阶张量配备 EPN，其充当高阶出现的谱检测器以防止突发。我们还证明，对于由 d 维特征描述子构建的 r 阶张量，此类检测器给出了至少一个高阶出现被“投影”到张量所表示的 binom(d,r) 个子空间之一中的似然；从而形成一个张量幂归一化度量，并配备 binom(d,r) 个此类“检测器”。在实验方面，我们将若干二阶及高阶池化变体应用于动作识别，提供了此前未呈现的此类池化变体比较，并在 HMDB-51、YUP++ 和 MPII Cooking Activities 上展示了当前最优结果。
引用
@article{arxiv.2110.05216,
title = {High-order Tensor Pooling with Attention for Action Recognition},
author = {Lei Wang and Ke Sun and Piotr Koniusz},
journal= {arXiv preprint arXiv:2110.05216},
year = {2023}
}
备注
Accepted by IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)