你需要的只是量身定制的坐标系：知识蒸馏的全新方法
计算机视觉与模式识别
2025-02-13 v2 人工智能
摘要
知识蒸馏（KD）是将大型教师网络中的深层知识传递给小型学生网络的关键技术，使得学生网络在保持相当准确性的同时，能够远超教师网络的效率。然而，现有的 KD 方法依赖于为特定目标任务专门训练的大型教师，既不灵活又不高效。本文认为，SSL 预训练模型可有效作为教师，其深层知识可通过特征所在的坐标系或线性子空间来捕获。我们只需对教师进行一次前向传播，然后为学生网络量身定制坐标系。我们的 TCS 方法无需教师，适用于各种网络架构，KD 和实际的 few-shot 学习中都表现良好，支持大容量差距的跨架构蒸馏。实验表明，TCS 在准确率上显著高于最先进的 KD 方法，仅需约其训练时间和 GPU 内存的二分之一。
引用
@article{arxiv.2412.09388,
title = {All You Need in Knowledge Distillation Is a Tailored Coordinate System},
author = {Junjie Zhou and Ke Zhu and Jianxin Wu},
journal= {arXiv preprint arXiv:2412.09388},
year = {2025}
}
备注
Accepted by AAAI 2025