一种核扩展随机神经网络
机器学习
2022-01-17 v1 机器学习
摘要
深度神经网络在机器学习中存在诸多基本问题。例如，其训练常陷入局部极小，且预测不确定性难以评估。为解决这些问题，我们提出所谓的核扩展随机神经网络（K-StoNet）模型，该模型将支持向量回归（SVR）作为首个隐藏层，并将神经网络重新表述为潜变量模型。前者通过径向基函数（RBF）核将输入向量映射到无限维特征空间，确保其训练损失面上无局部极小。后者将高维非凸的神经网络训练问题分解为一系列低维凸优化问题，并使其预测不确定性易于评估。K-StoNet可使用插补正则化优化（IRO）算法轻松训练。相比传统深度神经网络，K-StoNet具有渐近收敛至全局最优的理论保证，且使预测不确定性易于评估。新模型在训练、预测与不确定性量化上的表现通过模拟与真实数据示例加以说明。
引用
@article{arxiv.2201.05319,
title = {A Kernel-Expanded Stochastic Neural Network},
author = {Yan Sun and Faming Liang},
journal= {arXiv preprint arXiv:2201.05319},
year = {2022}
}
备注
Accepted by JRSSB