面向小样本的超细粒度视觉分类的对比自蒸馏学习
计算机视觉与模式识别
2024-02-27 v2 多媒体
摘要
在智能多媒体分析领域，超细粒度视觉分类（Ultra-FGVC）在区分宽泛类别中的精细子类别方面发挥着关键作用。然而，由于类别细分粒度复杂且每类数据有限，该任务 inherently 具有挑战性。为应对这些挑战，本工作提出 CSDNet，一种开创性框架，有效探索对比学习与自蒸馏以学习专为 Ultra-FGVC 任务设计的判别性表示。CSDNet 包含三个主要模块：子类别特定差异解析（SSDP）、动态差异学习（DDL）和子类别特定差异迁移（SSDT），它们共同在实例、特征和 logit 预测层面增强深度模型的泛化能力。为增加训练样本多样性，SSDP 模块引入自适应增强样本以突出子类别特定差异。同时，所提 DDL 模块通过动态记忆队列存储历史中间特征，借助迭代对比学习优化特征学习空间。此外，SSDT 模块在 logit 预测层面利用自蒸馏范式从有限训练数据的固有结构中有效蒸馏子类别特定差异知识。实验结果表明，CSDNet 优于当前 SOTA（state-of-the-art）的 Ultra-FGVC 方法，强调了其在处理 Ultra-FGVC 任务中的强大效能与适应性。
引用
@article{arxiv.2311.06056,
title = {Learning Contrastive Self-Distillation for Ultra-Fine-Grained Visual Categorization Targeting Limited Samples},
author = {Ziye Fang and Xin Jiang and Hao Tang and Zechao Li},
journal= {arXiv preprint arXiv:2311.06056},
year = {2024}
}
备注
Accepted for Publication in TCSVT