层次化视觉类别建模：联合表示学习与密度估计框架用于零样本检测
计算机视觉与模式识别
2024-08-29 v1
摘要
检测用于视觉识别模型的零样本输入已成为安全深度学习中的关键问题。本文提出一种新颖的层次化视觉类别建模方案，通过联合表示学习和统计建模将零样本数据与正常分布数据分离。我们为每个正常分布类别学习高斯混合模型。存在许多用于建模不同视觉类别的高斯混合模型。借助这些高斯模型，我们设计了一个通过聚合多个马哈拉诺斯基距离度量的正常分布评分函数。我们不使用任何辅助离群数据作为训练样本，这可能会损害零样本检测算法的泛化能力。我们将ImageNet-1k数据集随机分为十个折， 使用一个折作为正常分布数据集，其他折作为零样本数据集进行评估。我们还在七个流行基准测试上进行实验，包括CIFAR、iNaturalist、SUN、Places、Textures、ImageNet-O和OpenImage-O。大量实验表明，所提方法明显优于最先进的算法。与此同时，我们发现我们的视觉表示在与经典方法学习的特征进行比较时具有竞争性能。这些结果表明，所提方法没有削弱视觉识别模型的判别能力，并且在检测零样本样本方面保持高效。
引用
@article{arxiv.2408.15580,
title = {Hierarchical Visual Categories Modeling: A Joint Representation Learning and Density Estimation Framework for Out-of-Distribution Detection},
author = {Jinglun Li and Xinyu Zhou and Pinxue Guo and Yixuan Sun and Yiwen Huang and Weifeng Ge and Wenqiang Zhang},
journal= {arXiv preprint arXiv:2408.15580},
year = {2024}
}
备注
Accepted by ICCV2023