使用在线自获取知识蒸馏高效训练轻量级神经网络
计算机视觉与模式识别
2021-08-27 v1
摘要
知识蒸馏已被确立为一种极具前景的方法，通过从重量级且强大的模型中转移知识来训练紧凑且更快的模型。然而，传统版本的知识蒸馏是一个持久的、计算和内存需求高的过程。本文提出了在线自获取知识蒸馏，旨在以在线方式提高任意深度神经模型的性能。我们利用 k-nn 非参数密度估计技术来估计输出特征空间中数据样本的未知概率分布。这使我们能够直接估计数据样本的后验类概率，并将它们作为软标签，编码关于数据与各类别之间相似性的显式信息，而对计算成本的影响微乎其微。在四个数据集上的实验评估验证了所提方法的有效性。
引用
@article{arxiv.2108.11798,
title = {Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation},
author = {Maria Tzelepi and Anastasios Tefas},
journal= {arXiv preprint arXiv:2108.11798},
year = {2021}
}
备注
Accepted at ICME 2021