利用线性初始化改善自编码器的收敛速度与完全训练误差
机器学习
2023-11-20 v1 人工智能
计算机视觉与模式识别
摘要
良好的权重初始化是人工神经网络成功训练的重要步骤。随时间推移，已提出若干对此过程的改进。在本文中我们引入一种称为跨立矩阵初始化器（Straddled Matrix Initialiser）的新颖权重初始化技术。该初始化技术源于我们的假设：数据中主要的全局尺度关系为线性，仅较小效应需复杂非线性。跨立矩阵与ReLU激活函数的组合将神经网络初始化为事实上的线性模型，我们假定基于我们的假设这应是更优的优化起点。我们通过在三个数据集上用跨立矩阵与七种其他最先进权重初始化技术训练自编码器来检验这一点。在所有实验中，跨立矩阵初始化器明显优于所有其他方法。
引用
@article{arxiv.2311.10699,
title = {Using linear initialisation to improve speed of convergence and fully-trained error in Autoencoders},
author = {Marcel Marais and Mate Hartstein and George Cevora},
journal= {arXiv preprint arXiv:2311.10699},
year = {2023}
}