谐振振荡器循环神经网络的模拟电子实现
神经元与认知
2025-09-05 v1 应用物理
计算物理
摘要
振荡式循环网络(如谐振振荡器循环神经网络,HORN)模型在参数效率、学习速度和鲁棒性方面具有相对于传统非振荡架构的优势。然而,尽管许多利用吸引子动力学的物理神经网络实现已受到研究,但目前缺乏能够利用网络瞬态动力学的模拟电子硬件实现。本研究探讨了在保持数字对应计算性能的同时在模拟电子硬件中实现 HORN 的可行性。通过数字孪生方法,我们在硅模拟内训练了一个四节点 HORN 用于顺序 MNIST 分类,并将训练好的参数转移到模拟电子实现中。一组自定义误差指标表明,该模拟系统在大多数测试案例中能够成功复制数字模型的动力学。然而,尽管整体动力学匹配良好,但当使用数字模型的读出层处理由模拟系统生成的数据时,我们仅观察到 与数字模型预测的一致性。分析表明,这一不匹配归因于模拟硬件与数字模型用于执行分类任务的浮点表示之间的精度差异。当模拟系统用作带重新训练的线性读出的储库时,其分类性能可恢复到数字孪生体的水平,表明模拟动力学中保留了信息内容。该概念证明表明,模拟电子电路能够有效实现用于计算的振荡神经网络,为利用大脑启发式瞬态动力学进行能源高效模拟系统提供了示例。
引用
@article{arxiv.2509.04064,
title = {An analog-electronic implementation of a harmonic oscillator recurrent neural network},
author = {Pedro Carvalho and Bernd Ulmann and Wolf Singer and Felix Effenberger},
journal= {arXiv preprint arXiv:2509.04064},
year = {2025}
}