通过基于类的条件填充检测离群分布对象

最近的目标检测器在识别训练期间看到的对象方面取得了令人印象深刻的准确性。然而，实际部署常常引入新颖且意外的对象，称为离群分布（OOD）对象，给模型的可信度带来了显著挑战。现代目标检测器通常会过于自信，单凭其预测结果用于 OOD 检测往往不可靠。为此，我们提出了一种利用辅助模型作为补充解决方案的方法。具体而言，我们利用现成的文本到图像生成模型，如 Stable Diffusion，后者是使用与判别式目标检测器不同的目标函数训练的。我们假设，这种根本性差异使我们能够通过测量模型之间的不一致性来检测 OOD 对象。具体地，对于给定检测到的对象边界框及其预测的分布类标签，我们对图像进行基于类的条件填充，以移除该对象。如果该对象为 OOD，则填充后的图像可能显著偏离原始图像，使重建误差成为检测 OOD 状态的可靠指示器。广泛的实验表明，我们的方法在 consistently 超越现有的零样本和非零样本 OOD 检测方法，建立了一个强大的框架，用于增强动态环境中的目标检测系统。