探索 Flip Flop 记忆及更远：以关键洞见训练循环神经网络
机器学习
2023-08-01 v4 神经元与认知
摘要
训练神经网络执行不同任务在多个学科中都具有意义。特别是，循环神经网络（RNN）在计算神经科学中备受关注。致力于机器学习的开源框架，如 Tensorflow 与 Keras，已对我们当前所用技术的发展产生了重大改变。本工作旨在通过全面研究并描述一个时间处理任务——具体为 3-bit Flip Flop 记忆——的实现，做出显著贡献。我们深入整个建模过程，涵盖方程、任务参数化与软件开发。对所获网络进行细致分析以阐明其动力学，并借助一系列可视化与分析工具辅助。此外，所提供的代码具有足够通用性，可便利地建模多样化任务与系统。进而，我们展示了记忆状态如何高效地存储于降维空间中立方体的顶点上，以独特方法补充了先前结果。
引用
@article{arxiv.2010.07858,
title = {Exploring Flip Flop memories and beyond: training recurrent neural networks with key insights},
author = {Cecilia Jarne},
journal= {arXiv preprint arXiv:2010.07858},
year = {2023}
}