通过嵌入图对齐从自监督教师网络蒸馏知识
计算机视觉与模式识别
2022-11-28 v1 机器学习
摘要
近期进展表明了自监督预训练在改进下游任务表征学习方面的优势。现有工作常通过在下游任务上微调来利用自监督预训练模型。然而，当需要构建不同于自监督模型的定制模型架构时，微调无法泛化。本工作中，我们制定了一个新的知识蒸馏框架，通过名为嵌入图对齐（Embedding Graph Alignment）的新方法将自监督预训练模型的知识迁移至任意其他学生网络。具体而言，受自监督学习中实例判别精神的启发，我们在特征嵌入空间中以图形式建模实例-实例关系，并通过对齐教师图与学生图将自监督教师知识蒸馏至学生网络。我们的蒸馏方案可灵活应用于迁移自监督知识以增强各类学生网络上的表征学习。我们证明我们的模型在三个基准数据集（包括 CIFAR100、STL10 和 TinyImageNet）上优于多种代表性知识蒸馏方法。代码见：https://github.com/yccm/EGA。
引用
@article{arxiv.2211.13264,
title = {Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment},
author = {Yuchen Ma and Yanbei Chen and Zeynep Akata},
journal= {arXiv preprint arXiv:2211.13264},
year = {2022}
}
备注
British Machine Vision Conference (BMVC 2022)