面向细粒度视觉分类的Cross-X学习

由于较大的类内差异和较小的类间差异，从差异极细微的子类中对物体进行识别仍是一项具有挑战性的任务。近期工作以弱监督方式解决该问题：首先检测物体部件，并提取相应的部件特定特征用于细粒度分类。然而，这些方法通常孤立地处理每幅图像的部件特定特征，忽视了它们在不同图像之间的关系。本文提出Cross-X学习，一种简单而有效的方法，利用不同图像之间以及不同网络层之间的关系进行鲁棒的多尺度特征学习。我们的方法包含两个新颖组件：(i) 一个跨类别跨语义正则化器，引导所提取的特征表示语义部件；(ii) 一个跨层正则化器，通过匹配多层间的预测分布提升多尺度特征的鲁棒性。我们的方法可轻松端到端训练，并能扩展至如NABirds等大型数据集。我们通过实验分析了方法中不同组件的贡献，并证明了其在五个基准数据集上的鲁棒性、有效性及最先进性能。代码见\url{https://github.com/cswluo/CrossX}。