PAND：面向轻量级细粒度视觉分类的提示感知邻域蒸馏
计算机视觉与模式识别
2026-03-19 v2 人工智能
机器学习
多媒体
摘要
将大型视觉-语言模型（VLM）的知识蒸馏到轻量级网络是细粒度视觉分类（FGVC）中的关键但具有挑战性的任务，由于依赖固定提示和全局对齐。为此，我们提出 PAND（提示感知邻域蒸馏），一个两阶段框架，将语义校准与结构传递解耦。首先，我们纳入提示感知语义校准以生成自适应语义锚点。其次，我们引入基于邻域的结构蒸馏策略以约束学生的局部决策结构。PAND 在四个 FGVC 数据集上 consistently 超越当前最佳方法。值得注意的是，我们的 ResNet-18 学生在 CUB-200 上的准确率达到 76.09%，超越强基线 VL2Lite 的 3.4%。代码可在 https://github.com/LLLVTA/PAND 获取。
引用
@article{arxiv.2602.07768,
title = {PAND: Prompt-Aware Neighborhood Distillation for Lightweight Fine-Grained Visual Classification},
author = {Qiuming Luo and Yuebing Li and Feng Li and Chang Kong},
journal= {arXiv preprint arXiv:2602.07768},
year = {2026}
}
备注
6pages, 3 figures, conference