修正你的分类器：训练最后权重层的边际价值
机器学习
2018-03-21 v2 计算机视觉与模式识别
机器学习
摘要
神经网络被广泛用作各类任务的分类模型。通常，此类模型的末端会放置一个学习到的仿射变换，产生用于分类的逐类数值。该分类器可能具有大量参数，其数量随可能类别数线性增长，从而需要越来越多的资源。在本文中我们论证，对于大多数任务，该分类器除一个全局尺度常数外可以固定，且精度几乎无损失，从而带来内存与计算上的收益。此外，我们展示了通过用 Hadamard 矩阵初始化分类器，我们还能加速推理。我们讨论了这对当前神经网络模型理解的启示。
引用
@article{arxiv.1801.04540,
title = {Fix your classifier: the marginal value of training the last weight layer},
author = {Elad Hoffer and Itay Hubara and Daniel Soudry},
journal= {arXiv preprint arXiv:1801.04540},
year = {2018}
}
备注
https://openreview.net/forum?id=S1Dh8Tg0-