面向视觉识别的集成开放集技术与衰减 (COSTARR)

在视觉识别系统中处理新颖性仍是关键挑战。现有的开放集识别 (Open-set Recognition, 简称 OSR) 方法依赖熟悉假设，通过缺乏熟悉特征来检测新颖性。我们提出了一种新颖衰减假设：在训练期间学习到的小权重会衰减特征并发挥双重作用——区分已知类别的同时丢弃有助于区分已知类别与未知类别的信息。为充分利用这种被忽视的信息，我们提出 COSTARR 方法，将熟悉特征的需求与缺乏陌生特征的需求相结合。我们对 COSTARR 分数的概率解释进行了阐述，将其与正确分类的可能性和属于已知类别的可能性联系起来。为确定预衰减特征和未被充分利用的后衰减 Hadamard 积特征对 COSTARR 性能的 individual 贡献，我们进行了消融研究，结果表明预衰减深层特征和后衰减的 Hadamard 积特征对改进 OSR 至关重要。我们还在大规模设置下评估了 COSTARR，将 ImageNet2012-1K 作为已知数据，将 NINCO、iNaturalist、OpenImage-O 等数据集作为未知数据，在多个现代预训练架构 (ViTs、ConvNeXts 和 ResNet) 上进行测试。实验表明，COSTARR 在 various 架构之间具有良好的泛化能力，显著优于先前的最新方法，因而通过整合被忽略的衰减信息，推进了开放集识别能力的发展。