从黎曼几何视角理解协方差池化中的矩阵函数规范化
计算机视觉与模式识别
2025-02-11 v3 机器学习
摘要
全局协方差池化 (GCP) 已被证明通过利用高级表示的二阶统计信息来提高深度神经网络 (DNN) 的性能。GCP 通常通过对矩阵 logarithm 或 power 进行规范化，然后应用欧几里得分类器来对协方差矩阵进行分类。然而，协方差矩阵本身驻留在称为对称正定 (SPD) manifold 的黎曼流形中。当前文献未能对为何在矩阵 power 规范化后可以直接将欧几里得分类器应用于黎曼特征提供令人满意的解释。为弥合这一差距，本文从黎曼几何视角提供了对矩阵 logarithm 和 power 的全面而统一的理解。从两个视角解释矩阵函数在 GCP 中的作用：一种基于切向分类器（对切空间上的欧几里得分类器），另一种基于黎曼分类器。通过理论分析和对细粒度和大规模视觉分类数据集上的广泛实验经验证明，矩阵函数的工作机制应归因于它们隐式尊重的黎曼分类器。代码已公开于 https://github.com/GitZH-Chen/RiemGCP.git。
引用
@article{arxiv.2407.10484,
title = {Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry},
author = {Ziheng Chen and Yue Song and Xiao-Jun Wu and Gaowen Liu and Nicu Sebe},
journal= {arXiv preprint arXiv:2407.10484},
year = {2025}
}
备注
Accepted to ICLR 2025