中文

超越利普希茨连续性与单调性:回声状态网络中的分形与混沌激活函数

机器学习 2025-12-17 v1

摘要

当代储备池计算严重依赖光滑的、全局利普希茨连续的激活函数,限制了其在国防、灾害响应和药物建模等极端条件下需稳健运行的应用领域。我们系统地研究了非光滑激活函数,包括混沌、随机和分形变体,在回声状态网络中的应用。通过对 36,610 种储备池配置进行全面参数扫描,我们证明若干非光滑函数不仅保持回声状态性质 (ESP),而且在收敛速度和谱半径容差方面优于传统光滑激活函数。尤其值得注意的是,康托尔函数(处处连续且几乎处处平坦)在谱半径高达 ρ ~ 10 的范围内保持 ESP 一致行为,比光滑函数的典型界限高出一个数量级,同时实现了比 tanh 和 ReLU 快 2.6 倍的收敛速度。我们为量化激活函数引入了一个理论框架,定义了退化回声状态性质 (d-ESP),用于捕捉离散输出函数的稳定性,并证明 d-ESP 蕴含传统 ESP。我们识别出一个关键拥挤比 Q=N/k(储备池大小 / 量化层级数),用于预测离散激活的失效阈值。我们的分析表明,决定稳定性的并非连续性本身,而是预处理拓扑:单调、压缩的预处理可在各尺度上保持 ESP,而分散或不连续的预处理会触发急剧失效。尽管我们的发现挑战了储备池计算中激活函数设计的假设,但某些分形函数表现优异的潜在机制仍无法解释,这表明我们对激活函数的几何特性如何影响储备池动力学的理解存在根本性空白。

关键词

引用

@article{arxiv.2512.14675,
  title  = {Beyond Lipschitz Continuity and Monotonicity: Fractal and Chaotic Activation Functions in Echo State Networks},
  author = {Rae Chipera and Jenny Du and Irene Tsapara},
  journal= {arXiv preprint arXiv:2512.14675},
  year   = {2025}
}

备注

50 pages, 21 figures. Extended version with full proofs, parameter sweeps, and appendices