视角感知教学：面向异构蒸馏的知识适应
计算机视觉与模式识别
2025-10-17 v3
摘要
知识蒸馏（KD）涉及将来自预训练重型教师模型的知识传递到轻量学生模型，以在保持相当有效性的同时降低推理成本。先前的KD技术通常假设教师模型和学生模型之间的同质性。然而，随着技术的进步，各种架构已涌现，从最初的卷积神经网络（CNN）到视觉Transformer（ViT），以及多层感知器（MLP）。因此，开发一个通用KD框架以适用于任何架构已成为重要的研究主题。本文引入了一种视角感知教学（PAT）KD框架，以实现跨异构架构的特征蒸馏。我们的框架包含两个关键组件。首先，我们设计了包含学生反馈的提示调优模块，使教师特征能够适应学生模型的学习过程。其次，我们提出了区域感知注意力，以缓解异构架构之间视图不匹配问题。通过利用这两个模块，可实现跨异构架构的中间特征有效蒸馏。在CIFAR、ImageNet和COCO上的大量实验表明，所提方法优于现有方法。我们的代码已公开：https://github.com/jimmylin0979/PAT.git。
引用
@article{arxiv.2501.08885,
title = {Perspective-Aware Teaching: Adapting Knowledge for Heterogeneous Distillation},
author = {Jhe-Hao Lin and Yi Yao and Chan-Feng Hsu and Hongxia Xie and Hong-Han Shuai and Wen-Huang Cheng},
journal= {arXiv preprint arXiv:2501.08885},
year = {2025}
}
备注
Accepted by ICCV 2025