深度神经网络训练中基于无Hessian方法的元学习
机器学习
2018-09-10 v2 机器学习
摘要
元学习是一种在深度神经网络上实现高效训练方法的有前景的途径，近年来受到越来越多的关注。但当前大多数方法仍无法训练具有长时间训练过程的复杂神经网络模型。本文基于无Hessian（Hessian-Free）方法，提出了一种新颖的二阶元优化器，称为基于无Hessian方法的元学习（MLHF）。建立两个循环神经网络来生成该无Hessian框架的阻尼和预条件矩阵。提出一系列用于元训练MLHF以实现稳定并强化该优化器元训练的技术，包括的梯度计算。在深度卷积神经网络（包括CUDA-convnet和ResNet18(v2)）上，使用CIFAR10和ILSVRC2012数据集进行的数值实验表明，MLHF在整个长时间训练过程中，即快速下降的早期阶段和稳定下降的后期阶段，均表现出良好且持续的训练性能，因此是一个有前景的、用于提升真实世界深度神经网络训练效率的元学习框架。
引用
@article{arxiv.1805.08462,
title = {Meta-Learning with Hessian-Free Approach in Deep Neural Nets Training},
author = {Boyu Chen and Wenlian Lu and Ernest Fokoue},
journal= {arXiv preprint arXiv:1805.08462},
year = {2018}
}