面向基于 Transformer 的增量目标检测的索引对齐查询蒸馏

增量目标检测（IOD）旨在不断扩充模型检测新类别的能力，同时保持对以前已学习类别的性能。当采用基于 Transformer 的检测模型执行 IOD 时，必然会发生灾难性遗忘，这意味着对以前已学习类别的检测性能可能严重退化。以往典型方法主要依赖知识蒸馏（KD）来缓解基于 Transformer 的检测模型的灾难性遗忘。具体而言，它们利用匈牙利匹配构建最后阶段和当前阶段检测模型查询之间的对应关系，并对匹配查询的分类器和回归器输出进行对齐，以避免知识遗忘。然而，我们注意到在 IOD 任务中，匈牙利匹配并非理想选择。使用匈牙利匹配时，当前阶段模型的查询可能在 KD 过程中匹配不同于上一个阶段模型的查询。结果是，每条查询中编码的知识可能倾向于新类别，从而导致旧类别编码知识的遗忘。基于我们的观察，我们提出了一种新的蒸馈方法，称为索引对齐查询蒸馈（IAQD），用于基于 Transformer 的 IOD。除了使用匈牙利匹配外，IAQD 建立了上一阶段模型和当前阶段模型中具有相同索引的查询之间的对应关系。此外，我们仅对关键用于先前类别检测的部分查询执行索引对齐蒸馈。如此一来，IAQD 在不干扰新类别学习的情况下，大幅保留了先前语义和空间编码能力。大量实验表明，IAQD 有效缓解了知识遗忘，实现了新的最佳性能。