基于集成反向传播且具有动态系数与可调连接的神经网络
神经与进化计算
2018-08-07 v2
摘要
我们考虑人工神经元以其内部规则基于反向传播更新其权重系数，而非将其用作外部训练过程。为此，我们在所有神经元模型中将反向传播误差估计作为一个独立实体，并沿突触连接进行其交换。此外，我们添加了一些带有参考输入的特定类型神经元，其将作为整个网络的误差估计基本来源。最后，我们为所有神经元引入训练控制信号，其可启用权重修正与误差估计交换。对于循环神经网络，我们还展示了如何借助用于神经元参考输入与外部数据输入的某种栈内存，将随时间反向传播集成到其形式体系中。同时，对于广泛使用的神经网络，如长短期记忆、径向基函数网络、多层感知机与卷积神经网络，我们展示了它们在我们的新形式体系框架内的替代描述。
引用
@article{arxiv.1805.07531,
title = {Neural networks with dynamical coefficients and adjustable connections on the basis of integrated backpropagation},
author = {M. N. Nazarov},
journal= {arXiv preprint arXiv:1805.07531},
year = {2018}
}