结合 CNN 的改进双线性池化

卷积神经网络 (CNN) 特征的双线性池化及其紧凑变体已被证明在细粒度识别、场景分类、纹理识别及视觉问答等任务中是有效的。所得的表示以平移不变的方式捕获卷积特征的二阶统计量。在本文中，我们研究了归一化这些统计量的各种方法，以提高其表示能力。特别地，我们发现矩阵平方根归一化结合逐元素平方根和 l2 归一化时，能带来显著提升并优于矩阵对数归一化等替代方案。这在多个细粒度识别数据集上将准确率提高了 2-3%，达到了新的 SOTA。我们还研究了矩阵函数计算的准确度如何影响网络训练与评估。具体而言，我们与一种通过求解 Lyapunov 方程来估计矩阵平方根梯度的技术进行了比较，该技术在数值上比通过奇异值分解 (SVD) 计算梯度更准确。我们发现，尽管 SVD 梯度在数值上不够准确，但只要仔细处理边界情况，其对最终准确率的整体影响是微不足道的。我们提出了一种更快的替代梯度计算方案，且相比基线模型有所提升。最后，我们表明使用少量 Newton 迭代近似计算的矩阵平方根在分类任务中同样准确，但与 SVD 分解相比，其 GPU 实现速度可快一个数量级。