语义增强的少样本目标检测

少样本目标检测 (Few-shot object detection, FSOD) 旨在 limited annotated instances 的情况下检测 novel objects。近年来已取得显著进展。然而，现有方法在 extremely low-shot scenarios 中仍 suffer from biased representations，尤其是针对 novel classes。During fine-tuning， novel class 可能利用类似 base classes 的 knowledge 来构建其 own feature distribution， leading to classification confusion 和 performance degradation。为解决这些挑战，我们提出一种基于 fine-tuning 的 FSOD 框架，利用 semantic embeddings 实现 better detection。在我们的方法中，我们将 visual features 与 class name embeddings 对齐，并用我们的 semantic similarity classifier 替代 linear classifier。我们的 method 在每个 region proposal 上训练，使其收敛于 corresponding class embedding。此外，我们引入 multimodal feature fusion 以增强 vision-language communication，使 novel class 能够从 well-trained similar base classes 显式地获取 support。为防止 class confusion，我们提出 semantic-aware max-margin loss，适时地对 similar classes 之外施加 margin。结果表明，我们的方法允许每个 novel class 在不被 similar base classes 混淆的情况下构建 compact feature space。在 Pascal VOC 和 MS COCO 上的 extensive experiments 证明了 our method 的优越性。