面向超细粒度视觉分类的新类发现
计算机视觉与模式识别
2024-05-13 v1
摘要
超细粒度视觉分类（Ultra-FGVC）旨在区分细粒度对象内高度相似的子类别，例如不同的大豆品种。与传统的细粒度视觉分类相比，Ultra-FGVC由于类间差异小、类内差异大而面临更多障碍。鉴于这些挑战，依赖人工标注进行Ultra-FGVC是不切实际的。为此，我们的工作引入了一项名为超细粒度新类发现（UFG-NCD）的新任务，该任务利用部分标注数据来识别未标记图像中的新类别，以用于Ultra-FGVC。为了解决这个问题，我们设计了一个区域对齐代理学习（RAPL）框架，该框架包含一个通道式区域对齐（CRA）模块和一个半监督代理学习（SemiPL）策略。CRA模块旨在从局部区域提取并利用判别性特征，促进从已标记类别到未标记类别的知识迁移。此外，SemiPL通过代理引导监督学习和代理引导对比学习来加强表示学习和知识迁移。这些技术利用了嵌入空间中的类别分布信息，改善了对已标记和未标记超细粒度类别之间细微差异的挖掘。大量实验表明，RAPL在各种数据集上显著优于基线方法，表明其在处理UFG-NCD挑战方面的有效性。代码可在https://github.com/SSDUT-Caiyq/UFG-NCD获取。
引用
@article{arxiv.2405.06283,
title = {Novel Class Discovery for Ultra-Fine-Grained Visual Categorization},
author = {Yu Liu and Yaqi Cai and Qi Jia and Binglin Qiu and Weimin Wang and Nan Pu},
journal= {arXiv preprint arXiv:2405.06283},
year = {2024}
}
备注
10 pages, 6 figures