面向超细粒度图像识别的跨层缓存聚合技术用于令牌降低

超细粒度图像识别(UFGIR)是一项具有挑战性的任务，涉及对宏观类别内的图像进行分类。虽然传统的 FGIR 旨在对不同物种进行分类，但 UFGIR 通过对某一物种内部的子类别(如植物的品种)进行分类来超越这一点。近期，基于 Vision Transformer 的 backbone 方法已被证明在该任务中能够取得卓越的识别性能，但这以计算成本的显著增加为代价，特别是由于该任务显著受益于采用更高分辨率图像。因此，已出现令牌降低技术以降低计算成本。然而，令牌的丢弃会导致对细粒度类别至关重要的信息丢失，尤其是当令牌保留率降低时。为抵消令牌降低所带来的信息丢失，我们提出了一种新的跨层聚合分类头和一种跨层缓存机制，以在后续位置恢复和访问先前层的信息。广泛的实验覆盖超过 2000 次运行，涵盖 5 个数据集、9 个 backbone、7 种令牌降低方法、5 个保留率以及 2 种图像尺寸，证明了所提出的即插即用模块的有效性，并使我们能够在保持与 SOTA 模型具有竞争力的准确率下，将保留令牌的比例推至最低的 10%。代码可在 \url{https://github.com/arkel23/CLCA} 访问。