基于数据增强 GAN 的分割任务无数据知识蒸馏
计算机视觉与模式识别
2020-11-03 v1 图像与视频处理
摘要
将知识从庞大的预训练网络蒸馏以提升微小网络的性能，已使深度学习模型得以应用于许多实时和移动场景。该领域中若干成功的方法利用了真实的训练数据集来提取相关知识。然而在缺少真实数据集的情况下，从深度网络中提取知识仍具挑战。近期关于无数据知识蒸馏的工作在分类任务上展示了此类技术。为此，我们探索了分割任务的无数据知识蒸馏。首先，我们明确了分割所特有的若干挑战。我们利用 DeGAN 训练框架提出了一种新损失函数，以在少数类别代表性不足的情况下增强多样性。此外，我们探索了一种新的训练框架，用于在无数据设定下执行知识蒸馏。相较先前方法，我们在平均交并比（Mean IoU）上获得了 6.93% 的提升。
引用
@article{arxiv.2011.00809,
title = {Data-free Knowledge Distillation for Segmentation using Data-Enriching GAN},
author = {Kaushal Bhogale},
journal= {arXiv preprint arXiv:2011.00809},
year = {2020}
}