利用样条模型训练神经网络中的全连接层
机器学习
2021-02-15 v1 人工智能
摘要
全连接 (FC) 层作为人工神经网络 (ANN) 中最基础的模块之一，常因其参数量巨大导致过拟合风险等问题，被认为难以且低效训练。基于先前从线性样条视角研究 ANN 的工作，我们提出一种基于样条的方法，以缓解 FC 层的训练难度。给定某数据集，我们首先通过多元自适应回归样条 (MARS) 等样条方法获得连续分段线性 (CPWL) 拟合。接着，由线性样条模型构造 ANN 模型，并继续使用梯度下降优化算法在该数据集上训练 ANN 模型。实验结果与理论分析表明，与随机初始化参数后梯度下降优化的标准 ANN 训练相比，我们的方法降低了计算成本、加速了 FC 层的收敛，并显著提升了所得模型 (FC 层) 的可解释性。
引用
@article{arxiv.2102.06554,
title = {Exploiting Spline Models for the Training of Fully Connected Layers in Neural Network},
author = {Kanya Mo and Shen Zheng and Xiwei Wang and Jinghua Wang and Klaus-Dieter Schewe},
journal= {arXiv preprint arXiv:2102.06554},
year = {2021}
}