Lipschitz 连续性引导的知识蒸馏
机器学习
2021-08-31 v1 人工智能
计算机视觉与模式识别
摘要
知识蒸馏通过将知识从较大的教师网络蒸馏到较小的学生网络，已成为最重要的模型压缩技术之一。尽管先前的蒸馏方法通过精心设计各类知识取得了巨大成功，但它们忽视了神经网络的函数性质，这使得将这些技术应用于新任务的过程不可靠且非平凡。为缓解该问题，本文首次利用 Lipschitz 连续性更好地表示神经网络的函数特征并引导知识蒸馏过程。具体而言，我们提出一种新颖的 Lipschitz 连续性引导的知识蒸馏框架，通过最小化两个神经网络的 Lipschitz 常数之间的距离来忠实蒸馏知识，使学生网络更好地被教师网络正则化并提升相应性能。我们推导了一种具有明确理论推导的可解释近似算法，以解决计算 Lipschitz 常数的 NP-困难问题。实验结果表明，我们的方法在 CIFAR-100、ImageNet 和 PASCAL VOC 数据集上的若干知识蒸馏任务（如分类、分割和目标检测）中优于其他基准。
引用
@article{arxiv.2108.12905,
title = {Lipschitz Continuity Guided Knowledge Distillation},
author = {Yuzhang Shang and Bin Duan and Ziliang Zong and Liqiang Nie and Yan Yan},
journal= {arXiv preprint arXiv:2108.12905},
year = {2021}
}
备注
This work has been accepted by ICCV 2021