阈值幂律储备器中的耦合强度是尺度参数且不影响训练准确率

在储备计算中，初始未训练的循环神经网络(储备器)的耦合强度是一个重要的超参数，可用于提高训练准确率。常见的经验法则是将该参数设定在“混沌边缘”，即储备器接近混沌动力学转变，混沌可被“驯服”。本文考察阈值幂律循环神经网络中耦合强度的变化。这些网络被证明在非常小的耦合强度下表现出混沌行为，可能暗示混沌无法被驯服。我们证明，若针对阈值幂律 RNN 的初始储备器耦合强度的一个正值即可进行训练，则存在相同准确率的网络适用于所有正耦合强度，表明混沌动力学总是可以被驯服或永远无法被驯服。这直接导致阈值幂律 RNN 的耦合强度充当不影响系统动力学定性特征的尺度参数，仅按比例放大所有系统解的大小。这与 sigmoidal 发射率的常规 RNN/储备器不同，后者的初始储备器耦合强度在训练期间决定不同任务上的性能并显式影响网络动力学。