ReLaX-Net：用于参数高效物理神经网络的层复用
机器学习
2025-11-19 v2 适应与自组织系统
摘要
物理神经网络（PNN）是下一代计算系统的有前景平台。然而，近期数字神经网络性能的快速提升主要源于可训练参数数量的激增，而迄今为止展现的 PNN 相差几个数量级。这种现象类似于早期数字神经网络的规模与性能约束。当时，参数的高效复用为卷积神经网络等参数高效架构的发展作出了贡献。本文数值探究 PNN 的硬件友好型权重绑定。关键在于，许多 PNN 系统中，前向传播的快速动态 active 元件与仅缓慢可训练的权重与偏置实现元素之间存在时间尺度分离。基于此，我们提出面向神经网络扩展的层复用架构（ReLaX-Net），其采用简单逐层时分复用方案以增加有效网络深度并高效利用参数数量。我们仅需为现有 PNN 增加快速开关即可。我们通过图像分类与自然语言处理任务上的数值实验验证了 ReLaX-Net。结果表明，ReLaX-Net 仅需对传统 PNN 进行少量修改即可提升计算性能。我们观察到 ReLaX-Net 在相同参数数量下，显著优于等效传统 RNN 或 DNN 的性能。
引用
@article{arxiv.2511.00044,
title = {ReLaX-Net: Reusing Layers for Parameter-Efficient Physical Neural Networks},
author = {Kohei Tsuchiyama and Andre Roehm and Takatomo Mihana and Ryoichi Horisaki},
journal= {arXiv preprint arXiv:2511.00044},
year = {2025}
}