基于相关模糊神经网络的无反向传播学习方法
机器学习
2021-11-23 v2 人工智能
摘要
本文提出一种新颖的逐步学习方法,其通过求解约束优化问题来估计规则前件部分的期望输出。该学习方法无需反向传播输出误差来学习前件部分参数。相反,估计规则前件部分的近似最优输出值,并改变其参数以减小当前前件部分输出与估计期望值之间的误差。因此,所提学习方法避免了误差反向传播,后者会导致梯度消失并进而陷入局部最优。所提方法不需要任何初始化方法。该学习方法用于训练一种新的具有相关模糊规则、在前件与后件部分均含众多参数的 Takagi-Sugeno-Kang (TSK) 模糊神经网络,避免因梯度消失而陷入局部最优。为学习所提网络参数,首先引入并求解一个约束优化问题以估计前件部分输出值的期望值。接着,利用这些值与当前值之间的误差基于梯度下降(GD)方法调整前件部分参数。之后,利用期望输出与网络输出之间的误差通过 GD 方法学习后件部分参数。所提范式已成功应用于真实世界的时间序列预测与回归问题。实验结果表明,其以更简洁的结构优于其他方法。
引用
@article{arxiv.2012.01935,
title = {Backpropagation-Free Learning Method for Correlated Fuzzy Neural Networks},
author = {Armin Salimi-Badr and Mohammad Mehdi Ebadzadeh},
journal= {arXiv preprint arXiv:2012.01935},
year = {2021}
}