MEDiC：来自CLIP的多目标蒸馏探索
计算机视觉与模式识别
2026-04-01 v1
摘要
掩码图像建模(MIM)方法通常在原始像素空间（重建掩码块）或潜在特征空间（与预训练教师对齐）中运行。我们提出了MEDiC（来自CLIP的多目标蒸馏探索），一个通过三个互补目标将两种空间结合在单一流水线中的框架：来自冻结CLIP编码器的块级令牌蒸馏、全局CLS对齐，以及通过轻量解码器进行像素重建。我们对该多目标框架周围的设计空间进行了系统性研究。首先，我们证明所有三个目标提供互补信息，完整组合在ImageNet-1K上达到73.9%的kNN准确率。其次，我们引入带相对位置偏置的层次聚类用于进化掩码，发现尽管产生了比先前方法更具语义一致性的掩码，进化掩码在教师引导蒸馏设置中并未超越简单块掩码，我们将此归因于教师固有的语义感知能力。第三，我们揭示最优标量损失权重极其脆弱，微小扰动即可导致kNN准确率下降高达17个百分点。我们的框架在ViT-Base上以300个epoch达到73.9%的kNN准确率和85.1%的微调准确率。
引用
@article{arxiv.2603.29009,
title = {MEDiC: Multi-objective Exploration of Distillation from CLIP},
author = {Konstantinos Georgiou and Maofeng Tang and Hairong Qi},
journal= {arXiv preprint arXiv:2603.29009},
year = {2026}
}