无标签数据上基于特征亲和力的深度神经网络知识蒸馏与量化
机器学习
2023-08-22 v3 人工智能
信息论
数值分析
math.IT
数值分析
摘要
本文提出一种特征亲和力(FA)辅助的知识蒸馏(KD)方法，以改进深度神经网络(DNN)的量化感知训练。DNN中间特征图上的FA损失起到向学生传授解题中间步骤的作用，而非像常规KD中仅在输出层网络logits上施加损失只给最终答案。结合logit损失与FA损失，我们发现量化学生网络接收到比来自有标签真实数据更强的监督。所得FAQD能够在无标签数据上压缩模型，这带来直接的实际益处，因为预训练教师模型易得且未标注数据丰富。相反，数据标注通常费力且昂贵。最后，我们提出一种快速特征亲和力(FFA)损失，以更低计算复杂度阶数精确近似FA损失，有助于加速高分辨率图像输入的训练。
引用
@article{arxiv.2302.10899,
title = {Feature Affinity Assisted Knowledge Distillation and Quantization of Deep Neural Networks on Label-Free Data},
author = {Zhijian Li and Biao Yang and Penghang Yin and Yingyong Qi and Jack Xin},
journal= {arXiv preprint arXiv:2302.10899},
year = {2023}
}