深度学习中基于最后核的后训练方法
机器学习
2017-11-01 v2 机器学习
摘要
深度学习方法的主要挑战之一是选择合适的训练策略。特别是，诸如无监督预训练等额外步骤已被证明能极大提升深层结构的性能。在本文中，我们提出一个额外的训练步骤，称为后训练，它仅优化网络的最后一层。我们证明，该过程可以在核理论的背景下进行分析，其中前几层计算数据的嵌入，而最后一层则作为一个基于该嵌入来解决任务的统计模型。此步骤确保数据的嵌入或表示以最佳可能的方式用于所考虑的任务。随后，我们在多种架构和多个数据集上测试了这一想法，结果表明它持续带来性能提升。
引用
@article{arxiv.1611.04499,
title = {Post Training in Deep Learning with Last Kernel},
author = {Thomas Moreau and Julien Audiffren},
journal= {arXiv preprint arXiv:1611.04499},
year = {2017}
}
备注
submitted to ICLR 2018