启动与调制学习：利用带符号反向传播与环境线索生成前向模型
机器学习
2023-09-08 v1
摘要
采用误差反向传播进行学习的深度神经网络可能遭受梯度爆炸与梯度消失问题。已有诸多解决方案被提出，例如归一化技术或将激活函数限制为线性整流单元。本工作中我们遵循一种不同的方法，其特别适用于前向模型的闭环学习，其中反向传播专门利用误差信号的符号来启动学习，而全局相关性信号则调制学习速率。这受到局部可塑性与全局神经调制之间相互作用的启发。例如，在空旷道路上驾驶时，可允许对动作进行缓慢的逐步优化；而在繁忙路口，错误必须立即纠正。因此，误差是启动信号，而体验的强度是权重变化中的调制因素。这种“启动与调制”范式的优势有两方面：它无需归一化，并且利用环境中相关线索来丰富学习。我们给出了z空间中学习规则的数学推导，并通过机器人平台展示了实时性能。结果表明，与传统反向传播相比，其收敛速度有显著提升。
引用
@article{arxiv.2309.03825,
title = {Prime and Modulate Learning: Generation of forward models with signed back-propagation and environmental cues},
author = {Sama Daryanavard and Bernd Porr},
journal= {arXiv preprint arXiv:2309.03825},
year = {2023}
}
备注
14 pages, 6 figures