VRM：基于虚拟关系匹配的知识蒸馏
计算机视觉与模式识别
2025-08-01 v3
摘要
知识蒸馏旨在将能力更强但更繁琐的教师模型的知识迁移至轻量级的学生模型。近年来，基于关系的方法在性能上已被其实例匹配对应方法所超越。本文通过识别并解决基于关系方法中的若干关键问题（包括其容易过拟合及产生虚假响应），重新激活了关系知识蒸馏。具体而言，我们利用虚拟视图与关系作为一种新知识，迁移了新颖构建的亲和图，该图紧凑地封装了大量有益的样本间、类间及视图间相关性。因此，在整个蒸馏过程中，学生模型能够获得更丰富的指导信号与更强的正则化。为进一步减轻虚假响应的不利影响，我们通过动态断开冗余且不可靠的边来修剪亲和图。在CIFAR-100、ImageNet和MS-COCO数据集上的大量实验表明，所提出的虚拟关系匹配方法具有卓越性能，并在一系列模型、架构、任务和设置中持续创下新的SOTA记录。例如，在ImageNet上的ResNet50到MobileNetV2蒸馏中，VRM首次达到74.0%的准确率；在以ResNet56为教师模型的CIFAR-100上，将DeiT-T提升了14.44%。
引用
@article{arxiv.2502.20760,
title = {VRM: Knowledge Distillation via Virtual Relation Matching},
author = {Weijia Zhang and Fei Xie and Weidong Cai and Chao Ma},
journal= {arXiv preprint arXiv:2502.20760},
year = {2025}
}
备注
Accepted by ICCV 2025 (Highlight)