面向多类分类中循环神经网络初始化的有监督逐层预训练
机器学习
2019-11-05 v1 计算机视觉与模式识别
机器学习
摘要
循环神经网络（RNN）会严重受初始参数赋值的影响，从而可能导致在新未见数据上泛化性能不佳。为解决这一关键问题，在基于RNN的分类背景下，我们提出一种新的有监督逐层预训练策略来初始化网络参数。所提方法利用数据感知策略，自动由模型行为导出一套分类问题体系。据我们所知，尽管对基于RNN的分类有极大兴趣，这是首个处理此类模型初始化的数据感知策略。该策略已在来自语音识别与遥感两个不同领域的四个基准上测试。结果凸显了我们方法的重要性，并指出数据感知策略对基于循环神经网络分类模型的初始化有积极支持作用。
引用
@article{arxiv.1911.01071,
title = {Supervised level-wise pretraining for recurrent neural network initialization in multi-class classification},
author = {Dino Ienco and Roberto Interdonato and Raffaele Gaetano},
journal= {arXiv preprint arXiv:1911.01071},
year = {2019}
}