基于偏相关学习的深度视觉表示用于图像分类
计算机视觉与模式识别
2023-04-27 v2 人工智能
机器学习
摘要
基于协方差矩阵的视觉表示通过刻画卷积特征图中不同通道的成对相关性，已证明其在图像分类中的有效性。然而，一旦存在另一个与两个感兴趣通道均相关的通道，成对相关性将产生误导，导致“混杂”效应。对于这种情况，应估计去除混杂效应的“偏相关”。尽管如此，可靠地估计偏相关需要求解一个对称正定矩阵优化问题，即稀疏逆协方差估计 (SICE)。如何将这一过程整合进 CNN 仍是一个开放问题。在本工作中，我们将 SICE 表述为 CNN 的一种新颖结构化层。为确保端到端可训练性，我们开发了一种迭代方法，在前向和反向传播步骤中求解上述矩阵优化。我们的工作获得了基于偏相关的深度视觉表示，并缓解了 CNN 中协方差矩阵估计常遇到的小样本问题。在计算上，我们的模型可利用 GPU 有效训练，并适用于先进 CNN 的大量通道。实验表明，与基于协方差矩阵的对应方法相比，我们的深度视觉表示具有有效性和更优的分类性能。
引用
@article{arxiv.2304.11597,
title = {Learning Partial Correlation based Deep Visual Representation for Image Classification},
author = {Saimunur Rahman and Piotr Koniusz and Lei Wang and Luping Zhou and Peyman Moghadam and Changming Sun},
journal= {arXiv preprint arXiv:2304.11597},
year = {2023}
}
备注
This paper is published at CVPR 2023