教师-班级网络：一种神经网络压缩机制
机器学习
2021-11-02 v3 计算机视觉与模式识别
机器学习
摘要
为缩减深度神经网络（DNN）的庞大尺寸，师生方法试图将知识从复杂教师网络迁移至简单学生网络。我们转而提出一种称为教师-班级网络的新方法，其由单个教师与多个学生网络（即学生班级）组成。所提方法并非仅将知识迁移至一个学生，而是将知识块迁移给每个学生。我们的学生并非针对特定问题的 logits 训练，而是训练以模仿教师网络学到的知识（稠密表示），因此学生班级学到的组合知识也可用于解决其他问题。所提教师-班级架构在多个基准数据集上评估，如 MNIST、Fashion MNIST、IMDB Movie Reviews、CAMVid、CIFAR-10 与 ImageNet，涵盖图像分类、情感分类与分割等多项任务。我们的方法在准确率与计算成本上均优于最先进的单学生方法，同时实现了 10-30 倍的参数缩减。
引用
@article{arxiv.2004.03281,
title = {Teacher-Class Network: A Neural Network Compression Mechanism},
author = {Shaiq Munir Malik and Muhammad Umair Haider and Mohbat Tharani and Musab Rasheed and Murtaza Taj},
journal= {arXiv preprint arXiv:2004.03281},
year = {2021}
}
备注
Published in BMVC 2021