基于Sylvester求解器的数据驱动权重初始化
神经与进化计算
2021-05-24 v1 计算机视觉与模式识别
机器学习
摘要
在这项工作中，我们提出一种数据驱动的方案来初始化深度神经网络的参数。这与传统方法形成对比，后者通过从变换后的标准分布中采样来随机初始化参数。此类方法未利用训练数据产生更具信息量的初始化。我们的方法采用顺序逐层策略，其中每一层使用其输入激活进行初始化。该初始化被构建为一个优化问题，其中我们最小化输入激活的编码与解码损失组合，并进一步受用户定义的潜码约束。该优化问题随后被重构为著名的Sylvester方程，其具有快速且高效的免梯度解。与随机初始化方法相比，我们的数据驱动方法在训练开始前和训练结束后均取得了性能提升。我们表明，所提方法在少样本与微调设定下尤为有效。我们以关于时间复杂度及不同潜码对识别性能影响的分析作结。
引用
@article{arxiv.2105.10335,
title = {Data-driven Weight Initialization with Sylvester Solvers},
author = {Debasmit Das and Yash Bhalgat and Fatih Porikli},
journal= {arXiv preprint arXiv:2105.10335},
year = {2021}
}
备注
Practical Machine Learning for Developing Countries Workshop, International Conference on Learning Representations, 2021