多尺度激活、细化与聚合：探索细粒度鸟类识别中的多样化线索

鉴于鸟类在生态系统中的关键作用，细粒度鸟类识别（FGBR）正受到日益关注，尤其是对于相似子类的鸟类进行区分。虽然基于视觉转换器（ViT）的方法常常优于基于卷积神经网络（CNN）的方法在FGBR中表现突出，但近期研究表明，普通ViT模型的受限感受野阻碍了表征丰富性，并使其对尺度变化极其脆弱。因此，提升现有ViT-based模型的多尺度能力以克服FGBR中的这一瓶颈是值得追求的。在本文中，我们提出了一种用于FGBR的新型框架，称为多尺度多样化线索建模（MDCM），其通过“激活-选择-聚合”范式，在多尺度视觉转换器（MS-ViT）的不同阶段探索多样化的线索。具体而言，我们首先提出了多尺度线索激活模块，以确保在不同阶段学习到的判别性线索彼此不同。随后，提出了多尺度token选择机制，以消除冗余噪声并突出显示每个阶段的判别性、尺度特定的线索。最后，独立使用来自各阶段的所选token进行鸟类识别，通过多尺度动态聚合机制自适应地融合来自多个阶段的识别结果，以作出最终模型决策。定性和定量结果均证明了我们所提出的MDCM的有效性，该方法在几个广泛使用的FGBR基准数据集上优于CNN和ViT-based模型。