分布偏移对基于网络采集图像的知识蒸馏的影响
计算机视觉与模式识别
2023-07-24 v1 人工智能
摘要
知识蒸馏旨在从预训练的教师网络学习轻量化的学生网络。在实践中，由于隐私问题和数据管理考量，当原始训练数据不可用时，现有知识蒸馏方法通常不可行。因此，无数据知识蒸馏方法被提出从互联网收集训练样本。然而，大多数方法忽略了原始训练数据与网络采集数据之间的常见分布偏移，影响了训练学生网络的可靠性。为解决该问题，我们提出一种称为“不同分布间的知识蒸馏”（KD）的新方法，其包含三个组件。具体而言，我们首先根据教师网络与学生网络的联合预测，从网络采集数据中动态筛选有用训练样本。随后，我们对齐两网络的加权特征与分类器参数以进行知识记忆。同时，我们构建了一个称为MixDistribution的新对比学习模块，生成具有新分布的扰动数据用于样本对齐，使学生网络进一步学习分布不变表示。在多个基准数据集上的大量实验表明，所提KD优于最先进的（SOTA）无数据知识蒸馏方法。
引用
@article{arxiv.2307.11469,
title = {Distribution Shift Matters for Knowledge Distillation with Webly Collected Images},
author = {Jialiang Tang and Shuo Chen and Gang Niu and Masashi Sugiyama and Chen Gong},
journal= {arXiv preprint arXiv:2307.11469},
year = {2023}
}