CanKD：基于跨注意力的特征级知识蒸馏非局部操作
计算机视觉与模式识别
2025-11-27 v1
摘要
我们提出了基于跨注意力的非局部知识蒸馏方法 (CanKD)，这是一种新型特征级知识蒸馏框架，利用跨注意力机制来增强知识传递过程。不同于传统基于自注意力的蒸馏方法独立对齐教师和学生特征图，CanKD 使学生特征图中的每个像素都能动态地考虑教师特征图中的所有像素。这种非局部知识传递更全面地捕捉像素级关系，提高了特征表示学习。该方法仅引入额外的损失函数，即可实现优于现有注意力引导蒸馏方法的优异性能。大量实验在目标检测和图像分割任务上表明，CanKD 在特征和混合型蒸馏方法中均表现出色。这些实验结果凸显了 CanKD 在计算机视觉任务中作为一种新范式的潜力。代码已公开于 https://github.com/tori-hotaru/CanKD
引用
@article{arxiv.2511.21503,
title = {CanKD: Cross-Attention-based Non-local operation for Feature-based Knowledge Distillation},
author = {Shizhe Sun and Wataru Ohyama},
journal= {arXiv preprint arXiv:2511.21503},
year = {2025}
}
备注
WACV 2026 Accepted