提升面向超低功耗应用的可并行化RNN的性能与学习稳定性
机器学习
2026-05-13 v1 人工智能
硬件体系结构
摘要
序列学习由Transformer和可并行化的循环神经网络（RNN）（如状态空间模型）主导，然而学习长期依赖关系仍然具有挑战性，且最先进的设计以功耗换取性能。双稳态记忆循环单元（BMRU）的引入旨在实现超低功耗RNN的软硬件协同设计：具有迟滞效应的量化状态提供持久记忆，同时直接映射到模拟原语。然而，BMRU在复杂序列任务上的性能落后于可并行化的RNN。在本文中，我们识别出状态更新期间的梯度阻断是一个关键限制，并提出了一种累积更新公式，在保留持久记忆的同时恢复梯度流，从而创建了跨时间的跳跃连接。这导致了累积记忆循环单元（CMRU）及其松弛变体αCMRU的诞生。实验表明，累积公式显著提高了收敛稳定性并降低了对初始化的敏感性。在小模型尺寸下，CMRU和αCMRU在多种基准测试中匹配或优于线性循环单元（LRU）和最小门控循环单元（minGRU），在需要离散长程保留的任务上具有特别优势，同时CMRU保留了对于模拟实现至关重要的量化状态、持久记忆和抗噪声动态特性。
引用
@article{arxiv.2605.11855,
title = {Improving the Performance and Learning Stability of Parallelizable RNNs Designed for Ultra-Low Power Applications},
author = {Julien Brandoit and Arthur Fyon and Damien Ernst and Guillaume Drion},
journal= {arXiv preprint arXiv:2605.11855},
year = {2026}
}
备注
Accepted as a spotlight at ICML2026. This work has been the subject of patent applications under numbers EP26175243.0 and EP26175248.9