梯形梯度下降法用于脉冲网络中的有效强化学习
人工智能
2024-06-21 v1
摘要
随着人工智能技术的快速发展，强化学习领域在理论和实践上不断取得突破。然而，传统的强化学习算法在与环境交互过程中往往伴随着高能耗。脉冲神经网络（SNN）以其低能耗特性和与深度神经网络相当的性能而受到广泛关注。为了降低强化学习实际应用中的能耗，研究人员相继提出了Pop-SAN和MDC-SAN算法。然而，这些算法在训练过程中使用矩形函数来逼近脉冲网络，导致灵敏度较低，因此SNN的训练效果仍有提升空间。基于此，我们提出了一种梯形逼近梯度方法来替代脉冲网络，该方法不仅保留了原有的稳定学习状态，还增强了模型在各种信号动态下的适应性和响应灵敏度。仿真结果表明，使用梯形逼近梯度替代脉冲网络的改进算法，相比原始算法获得了更好的收敛速度和性能，并表现出良好的训练稳定性。
引用
@article{arxiv.2406.13568,
title = {Trapezoidal Gradient Descent for Effective Reinforcement Learning in Spiking Networks},
author = {Yuhao Pan and Xiucheng Wang and Nan Cheng and Qi Qiu},
journal= {arXiv preprint arXiv:2406.13568},
year = {2024}
}