关于神经网络的反应网络实现
神经与进化计算
2021-03-10 v3 机器学习
动力系统
分子网络
定量方法
摘要
本文关注利用确定性建模的化学反应网络来实现（前馈）神经网络。我们建立通用数学框架并证明，与某些神经网络反应网络实现相关的常微分方程（ODEs）具有理想性质，包括（i）存在唯一正不动点且该不动点关于模型参数光滑（梯度下降所必需），以及（ii）无论初值如何均快速收敛至不动点（高效实现所必需）。为此，我们首先建立神经网络与 ODEs 系统不动点之间的联系，进而构造具有正确关联 ODEs 集合的反应网络。我们通过构造一个实现具有平滑 ReLU 激活函数神经网络的反应网络来演示该理论，同时也展示如何将构造推广以允许其他激活函数（均具备前述理想性质）。由于本文用到多种“网络”，我们还对反应网络与神经网络给出细致介绍，以厘清两种设定中重叠的词汇并明确各网络性质的作用。
引用
@article{arxiv.2010.13290,
title = {On reaction network implementations of neural networks},
author = {David F. Anderson and Badal Joshi and Abhishek Deshpande},
journal= {arXiv preprint arXiv:2010.13290},
year = {2021}
}
备注
Small edits