面向低分辨率细粒度图像分类的视觉 Mamba 蒸馏
计算机视觉与模式识别
2024-11-28 v1
摘要
低分辨率细粒度图像分类最近取得了显著进展，主要归功于超分辨率技术和知识蒸馏方法。然而，这些方法会导致模型参数数量和计算复杂度的指数级增长。为解决此问题，本文提出了一种视觉 Mamba 蒸馏（ViMD）方法，以提升低分辨率细粒度图像分类的有效性和效率。具体地，提出了轻量级超分辨率视觉 Mamba 分类网络（SRVM-Net），通过重新设计分类子网络以融合 Mamba 模型，提高其从视觉特征中提取能力。此外，我们设计了一种新颖的多级 Mamba 知识蒸馏损失，以提升性能，能够将来自高分辨率视觉 Mamba 分类网络（HRVM-Net）作为教师获得的先验知识传递到所提议的 SRVM-Net 作为学生。在七个公开细粒度分类数据集上的大量实验表明，我们的 ViMD 达到了新的状态最佳性能。虽然准确率更高，ViMD 还能在类似方法中使用更少的参数和 FLOPs，这更适用于嵌入式设备 applications。代码已提供：https://github.com/boa2004plaust/ViMD。
引用
@article{arxiv.2411.17980,
title = {Vision Mamba Distillation for Low-resolution Fine-grained Image Classification},
author = {Yao Chen and Jiabao Wang and Peichao Wang and Rui Zhang and Yang Li},
journal= {arXiv preprint arXiv:2411.17980},
year = {2024}
}