鲁棒学生网络学习
机器学习
2018-08-01 v2 计算机视觉与模式识别
机器学习
摘要
深度神经网络在各种应用中带来了令人印象深刻的准确率，但其成功往往依赖于沉重的网络架构。以训练良好的沉重网络作为教师，经典的师生学习范式旨在学习一个轻量且准确的学生网络。如此，参数量显著更少的可移植学生网络能达到与教师网络相当的可观准确率。然而，除准确率外，所学学生网络对抗扰动的鲁棒性对于实际运用也至关重要。现有师生学习框架主要关注准确率与压缩比，却忽略了鲁棒性。本文中，我们借助教师网络使学生网络产生更具置信度的预测，并分析了破坏学生网络置信度的扰动下界。为最大化该下界，提出了关于样本预测分数与梯度的两个重要目标，从而在牺牲性能的前提下增强学生网络的鲁棒性。在基准数据集上的实验证明了所提方法学习具有满意准确率与紧凑尺寸的鲁棒学生网络的有效性。
引用
@article{arxiv.1807.11158,
title = {Robust Student Network Learning},
author = {Tianyu Guo and Chang Xu and Shiyi He and Boxin Shi and Chao Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:1807.11158},
year = {2018}
}