全局协方差池化特征值在细粒度视觉识别中的作用研究
计算机视觉与模式识别
2022-07-11 v1 机器学习
摘要
细粒度视觉分类（FGVC）具有挑战性，因为细微的类间差异难以被捕捉。一条值得关注的研究路线是使用全局协方差池化（GCP）层以二阶统计量学习强表征，从而有效建模类间差异。在我们之前的会议论文中，我们表明截断GCP协方差的小特征值可获得更平滑的梯度并提升在大规模基准上的性能。然而，在细粒度数据集上，截断小特征值会使模型无法收敛。该现象与“小特征值仅对应噪声和不重要信息”的普遍假设相矛盾。因此，忽略它们应对性能影响甚微。为诊断这一反常行为，我们提出两种归因方法，其可视化表明看似不重要的小特征值至关重要，因为它们负责提取有判别性的类特定特征。受此启发，我们提出一个专门用于放大小特征值重要性的网络分支。该分支不引入任何额外参数，仅简单地放大小特征值，并在三个细粒度基准上取得了GCP方法的state-of-the-art性能。此外，在更大数据集上，其性能也与其他FGVC方法具有竞争力。代码见 \href{https://github.com/KingJamesSong/DifferentiableSVD}{https://github.com/KingJamesSong/DifferentiableSVD}。
引用
@article{arxiv.2205.13282,
title = {On the Eigenvalues of Global Covariance Pooling for Fine-grained Visual Recognition},
author = {Yue Song and Nicu Sebe and Wei Wang},
journal= {arXiv preprint arXiv:2205.13282},
year = {2022}
}
备注
Accepted by IEEE T-PAMI