面向细粒度开集识别的潜空间能量基模型

细粒度开集识别（FineOSR）旨在识别具有细微外观差异的类别图像，同时拒识未知类别的图像。OSR 近期趋势显示了生成模型对判别性未知检测的益处。作为一类生成模型，能量基模型（EBM）具备对生成与判别任务进行混合建模的潜力。然而，大多数现有 EBM 饱受高维空间密度估计之苦，而这对细粒度类别的图像识别至关重要。本文中，我们探索低维潜空间并结合能量基先验分布，用于细粒度视觉世界中的 OSR。具体而言，基于潜空间 EBM，我们提出属性感知信息瓶颈（AIB）、残差属性特征聚合（RAFA）模块，以及基于不确定性的虚拟离群合成（UVOS）模块，分别用于提升细粒度类别样本的表达力、粒度和密度。我们的方法可灵活利用近期视觉 transformer 以实现强大的视觉分类与生成。该方法在细粒度和通用视觉分类数据集上均得到验证，同时保持生成高分辨率照片级逼真伪图像的能力。