跨尺度学习——卷积神经网络的多尺度方法
神经与进化计算
2017-06-23 v2 计算机视觉与模式识别
摘要
本文建立了最优控制与深度卷积神经网络（CNN）训练之间的关系。我们证明 CNN 中的前向传播可解释为时间依赖的非线性微分方程，而学习则可解释为控制该微分方程的参数，使网络对给定训练数据逼近数据-标签关系。利用这种连续解释，我们针对两个不同维度推导出两种缩放 CNN 的新方法。第一类多尺度方法通过 CNN 参数的延拓与限制连接低分辨率与高分辨率数据。我们证明，这能够利用低分辨率图像训练的 CNN 对高分辨率图像进行分类，反之亦然，并能热启动学习过程。第二类多尺度方法连接浅层与深层网络，并引出新的训练策略，在逐步增加 CNN 深度的同时重用参数进行初始化。
引用
@article{arxiv.1703.02009,
title = {Learning across scales - A multiscale method for Convolution Neural Networks},
author = {Eldad Haber and Lars Ruthotto and Elliot Holtham and Seong-Hwan Jun},
journal= {arXiv preprint arXiv:1703.02009},
year = {2017}
}