通过RNN通用逼近线性时不变(LTI)系统:储备池计算中随机性的力量
信号处理
2024-10-28 v2 机器学习
系统与控制
系统与控制
摘要
递归神经网络(RNNs)在相当温和且一般的假设下已知为动态系统的通用逼近器。然而,RNNs在标准RNN训练中通常遭受梯度消失与爆炸问题。储备池计算(RC)作为一种特殊的RNN,其递归权重被随机化且保持未训练,已被引入以克服这些问题,并在训练样本极有限的场景下展现出优越的实证性能。另一方面,支撑该观测性能的理论基础尚待充分建立。本工作中,我们证明RC可通用逼近一般线性时不变(LTI)系统。具体而言,我们给出RC清晰的信号处理解释,并利用该理解处理逼近通用LTI系统的问题。在此设定下,我们分析刻画了用于配置(而非训练及/或随机生成)RC底层RNN递归权重的最优概率密度函数。我们提供了大量数值评估以验证所推导分布用于配置RC递归权重以逼近一般LTI系统的最优性。我们的工作给出了RC基于信号处理的清晰模型可解释性,并为随机生成而非训练RC递归权重的随机性力量提供了理论解释/依据。此外,它为配置未训练递归权重提供了完整的最优分析刻画,标志着向可解释机器学习(XML)迈进的重要一步,以融合领域知识实现高效学习。
引用
@article{arxiv.2308.02464,
title = {Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing},
author = {Shashank Jere and Lizhong Zheng and Karim Said and Lingjia Liu},
journal= {arXiv preprint arXiv:2308.02464},
year = {2024}
}
备注
This work has been accepted to IEEE Journal of Selected Topics in Signal Processing (JSTSP)