基于最优传输的模型压缩
计算机视觉与模式识别
2020-12-08 v1 机器学习
摘要
模型压缩方法对于在算力、内存和能耗受限的环境（如手机）中更轻松地部署深度学习模型十分重要。知识蒸馏是一类模型压缩算法，其中来自大型教师网络的知识被迁移到较小的学生网络，从而提升学生的性能。在本文中，我们展示了如何基于最优传输的损失函数用于训练学生网络，其鼓励学生网络参数学习，使学生对特征的分布更接近教师特征的分布。我们在 CIFAR-100、SVHN 和 ImageNet 上展示了图像分类结果，并表明所提出的最优传输损失函数与其他损失函数相比表现相当或更好。
引用
@article{arxiv.2012.03907,
title = {Model Compression Using Optimal Transport},
author = {Suhas Lohit and Michael Jones},
journal= {arXiv preprint arXiv:2012.03907},
year = {2020}
}