拥抱暗知识：使用正则化知识蒸馏的域泛化
计算机视觉与模式识别
2021-07-07 v1 人工智能
摘要
尽管卷积神经网络在不同任务中被广泛使用，但在缺乏充足且具有代表性数据的情况下泛化能力的不足是阻碍其实用化的挑战之一。在本文中，我们提出了一种简单、有效且即插即用的训练策略，称为用于域泛化的知识蒸馏（KDDG），它构建于知识蒸馏框架之上，并以梯度滤波器作为新颖的正则化项。我们发现，来自教师网络的“更丰富的暗知识”以及我们提出的梯度滤波器，都能降低学习映射的难度，从而进一步提升模型的泛化能力。我们还进行了广泛的实验，通过将我们的方法与现有的最先进域泛化技术进行比较，表明我们的框架能显著提升深度神经网络在图像分类、分割、强化学习等不同任务中的泛化能力。最后但同样重要的是，我们提议采用两个指标来分析我们提出的方法，以更好地理解其所提方法如何有益于深度神经网络的泛化能力。
引用
@article{arxiv.2107.02629,
title = {Embracing the Dark Knowledge: Domain Generalization Using Regularized Knowledge Distillation},
author = {Yufei Wang and Haoliang Li and Lap-pui Chau and Alex C. Kot},
journal= {arXiv preprint arXiv:2107.02629},
year = {2021}
}
备注
Accepted by ACM MM, 2021