基于融合 Transformer 的分层可扩展查询增强分类

现实世界中基于视觉的应用需要对电子商务、移动应用、仓库管理等领域中各类关注区域进行细粒度分类，其中降低错误严重程度并提升分类精度至关重要。本文提出一种通过可学习的独立查询嵌入以分层方法提升细粒度分类的方法。这是通过一个分类网络实现的，该网络利用粗类预测以分阶段顺序方式提升细类精度。我们利用分层思想学习跨所有层级可扩展的查询嵌入，从而使其即便在具有大量类的极端分类中也是相关方法。查询由从训练样本计算的加权特征图像（Eigen image）初始化，以最佳表示并捕获目标方差。我们引入 transformer 模块来融合发生查询注意力的中间层，以增强不同尺度下特征图的空间表示。这种多尺度融合有助于提升小尺寸目标的精度。我们为可学习查询的独特表示提出双重方法。首先，在每一分层级别，我们利用基于聚类的损失确保类间查询嵌入的最大分离，并有助于在更高维空间中学习更好的（查询）表示。其次，我们将粗级查询与按学习尺度因子加权的更细级查询相融合。我们还额外引入称为基于先验的多级查询交叉注意力（CAMP）块的新模块，其有助于减少从粗级到细级的错误传播，而这是所有分层分类器的共性问题。我们的方法能够以约 11% 的提升优于现有方法的细粒度分类表现。