基于线性蒸馏的可解释少样本学习
机器学习
2019-10-14 v2 机器学习
摘要
开发能够从数据中提取知识并给出合理预测且数学上易处理的模型十分重要。本文提出线性蒸馏学习，一种改进线性神经网络性能的简易方法。我们的方法基于为数据集中每个类别使用一个线性函数，该函数被训练以分别模拟教师线性网络对每个类别的输出。我们以少样本学习方式在 MNIST 与 Omniglot 数据集上测试了模型，其表现优于如经典 Logistic Regression 等其他可解释模型。
引用
@article{arxiv.1906.05431,
title = {Interpretable Few-Shot Learning via Linear Distillation},
author = {Arip Asadulaev and Igor Kuznetsov and Andrey Filchenkov},
journal= {arXiv preprint arXiv:1906.05431},
year = {2019}
}