CLIP-RD：高效 CLIP 知识蒸馏的相对蒸馏
计算机视觉与模式识别
2026-04-23 v3
摘要
CLIP 通过对比学习对图像和文本嵌入进行对齐，并展示出强大的零样例泛化能力。其大规模架构需要大量计算和内存资源，动机是将其能力蒸馏到轻量级 student 模型中。然而，现有的 CLIP 蒸馏方法未显式建模教师与 student 嵌入之间的多向关系依赖，限制了 student 保留教师所编码结构关系的能力。为此，我们提出了一种关系知识蒸馏框架，引入两种新方法：垂直关系蒸馏（VRD）和交叉关系蒸馏（XRD）。VRD 在分布层面强制教师-student 蒸馏强度在模态间保持一致，而 XRD 对跨模态教师-student 相似度分布施加双向对称性。通过联合建模多向关系结构，CLIP-RD 促进了 student 嵌入几何与教师一致，净实验结果比现有方法高出 0.8%p。
引用
@article{arxiv.2603.25383,
title = {CLIP-RD: Relative Distillation for Efficient CLIP Knowledge Distillation},
author = {Jeannie Chung and Hanna Jang and Ingyeong Yang and Uiwon Hwang and Jaehyeong Sim},
journal= {arXiv preprint arXiv:2603.25383},
year = {2026}
}