用于处理分布偏移的去混淆无数据知识蒸馏
计算机视觉与模式识别
2024-03-29 v1
摘要
无数据知识蒸馏（DFKD）是一项极具前景的任务，旨在不依赖原始训练数据的情况下训练高性能小模型，以增强实际部署效果。现有方法通常通过利用合成数据或采样数据来避免依赖私有数据。然而，一个长期被忽视的问题是，其替代数据与原始数据之间存在严重的分布偏移，表现为图像质量和类别比例的巨大差异。这种有害的偏移本质上是一个混淆因子，显著导致了性能瓶颈。为了解决这一问题，本文提出了一种基于因果推断的新视角，以将学生模型从此类偏移的影响中解耦。通过设计定制的因果图，我们首先揭示了 DFKD 任务中变量之间的因果关系。随后，我们提出了一种基于后门调整的知识蒸馏因果干预（KDCI）框架，以对该混淆因子进行去混淆处理。KDCI 可灵活地与大多数现有的最先进基线方法相结合。与六种代表性 DFKD 方法相结合的实验证明了我们 KDCI 的有效性，它能在几乎所有设置下明显帮助现有方法，例如，在 CIFAR-100 数据集上将基线的准确率最高提升 15.54%。
引用
@article{arxiv.2403.19539,
title = {De-confounded Data-free Knowledge Distillation for Handling Distribution Shifts},
author = {Yuzheng Wang and Dingkang Yang and Zhaoyu Chen and Yang Liu and Siao Liu and Wenqiang Zhang and Lihua Zhang and Lizhe Qi},
journal= {arXiv preprint arXiv:2403.19539},
year = {2024}
}
备注
Accepted by CVPR24